[論文レビュー] A Neural Autoregressive Approach to Collaborative Filtering

Yin Zheng, Bangsheng Tang+2 more|arXiv (Cornell University)|May 31, 2016

Music and Audio Processing参考文献 22被引用数 150

ひとこと要約

CF-NADE は協調フィルタリングのためのニューラル自己回帰モデルで、評価値間でパラメータを共有し、拡張性のために因数分解されたパラメータ化を使用し、順序コストを含み、深層アーキテクチャへ拡張可能である。MovieLens および Netflix のベンチマークで RMSE の最先端を達成する。

ABSTRACT

This paper proposes CF-NADE, a neural autoregressive architecture for collaborative filtering (CF) tasks, which is inspired by the Restricted Boltzmann Machine (RBM) based CF model and the Neural Autoregressive Distribution Estimator (NADE). We first describe the basic CF-NADE model for CF tasks. Then we propose to improve the model by sharing parameters between different ratings. A factored version of CF-NADE is also proposed for better scalability. Furthermore, we take the ordinal nature of the preferences into consideration and propose an ordinal cost to optimize CF-NADE, which shows superior performance. Finally, CF-NADE can be extended to a deep model, with only moderately increased computational complexity. Experimental results show that CF-NADE with a single hidden layer beats all previous state-of-the-art methods on MovieLens 1M, MovieLens 10M, and Netflix datasets, and adding more hidden layers can further improve the performance.

研究の動機と目的

• CF-NADE は NADE および RBM-CF に触発された協調フィルタリングのニューラル自己回帰モデルを紹介する。
• 評価値間でパラメータを共有し、 scalability のために因数分解されたパラメータ化を使用することで性能を向上させる。
• 評価値の順序性を活用するための序数コストを導入し、予測品質を向上させる。
• 計算コストを管理可能に保ちながら CF-NADE を深層アーキテクチャへ拡張する。
• CF-NADE を MovieLens 1M、MovieLens 10M、Netflix で評価し、最先端の結果を示す。

提案手法

• ユーザーごとに共有パラメータを用いた固定アーキテクチャの CF-NADE をモデル化する。
• ニューラル表現とスコアリング関数（式 3 および式 4）を用いて条件付き評価確率 p(r_moi|r_{<m_i}) を計算する。
• パラメータを評価値間で共有して W^k、V^k、b^k の累積使用を形成する（式 9 および 10）。
• 大きな重み行列 W^k および V^k を低ランク積に分解してパラメータ数を削減する（式 11 および 12）。
• 序数コスト C_ord およびハイブリッド目的関数 C_hybrid を導入して評価値の順序を活用する（式 18）。
• 深層 CF-NADE へ拡張するには確率的順序付けと階層的な隠れ層を用い、深層 NADE の適用に整合する学習目的関数を用意する（式 19-21）。

実験結果

リサーチクエスチョン

• RQ1 ニューラル自己回帰モデル（CF-NADE）はパラメータを共有しつつ、ユーザー-アイテムの評価ベクトルを効果的にモデルできるか。
• RQ2 パラメータ共有と因数分解表現は大規模な CF ベンチマークでのスケーラビリティと性能を向上させるか。
• RQ3 序数コストを通じた序数情報の組み込みは評価の予測精度を改善するか。
• RQ4 計算コストを抑えつつ深いアーキテクチャへ CF-NADE を拡張でき、性能を維持できるか。
• RQ5 CF-NADE は MovieLens 1M、MovieLens 10M、Netflix データセットで最先端の CF 手法と比較してどのような性能を示すか。

主な発見

手法	テスト RMSE
PMF	0.883
U-RBM	0.881
U-AutoRec (Sedhain et al., 2015)	0.874
LLORMA-Global (Lee et al., 2013)	0.865
I-RBM	0.854
BiasMF	0.845
NNMF (Dziugaite & Roy, 2015)	0.843
LLORMA-Local (Lee et al., 2013)	0.833
I-AutoRec (Sedhain et al., 2015)	0.831
U-CF-NADE-S (single layer)	0.850
U-CF-NADE-S (2 layers)	0.845
I-CF-NADE-S (single layer)	0.830
I-CF-NADE-S (2 layers)	0.829

• CF-NADE の評価値共有版（CF-NADE-S）は MovieLens 1M のベースラインと比較してRMSE が競合的または優れている。
• 2 階層目を追加した深層 CF-NADE は浅いバリアントよりも RMSE の改善をもたらす。
• MovieLens 1M では I-CF-NADE-S（単層）は RMSE 0.830、I-CF-NADE-S（2 層）は 0.829 で、いくつかのベースラインを上回る。
• MovieLens 10M では U-CF-NADE-S（単層）は RMSE 0.772、2 層で 0.771、複数のベースラインを上回る。
• Netflix では U-CF-NADE-S（単層）は RMSE 0.804、2 層で 0.803、すべて列挙されたベースラインを上回る。
• 因数分解版は大規模データセットでパラメータ数を劇的に削減し、性能の低下がほとんどないか全くない。