[論文レビュー] Training Deep AutoEncoders for Collaborative Filtering

Oleksii Kuchaiev, Boris Ginsburg|arXiv (Cornell University)|Aug 5, 2017

Music and Audio Processing参考文献 13被引用数 60

ひとこと要約

この論文は協調フィルタリングのための非常に深いオートエンコーダを訓練し、dense re-feeding と高 dropout を SELU 活性化と共に導入して、Netflix データ上で事前学習なしに最先端の未来評価予測を達成している。

ABSTRACT

This paper proposes a novel model for the rating prediction task in recommender systems which significantly outperforms previous state-of-the art models on a time-split Netflix data set. Our model is based on deep autoencoder with 6 layers and is trained end-to-end without any layer-wise pre-training. We empirically demonstrate that: a) deep autoencoder models generalize much better than the shallow ones, b) non-linear activation functions with negative parts are crucial for training deep models, and c) heavy use of regularization techniques such as dropout is necessary to prevent over-fiting. We also propose a new training algorithm based on iterative output re-feeding to overcome natural sparseness of collaborate filtering. The new algorithm significantly speeds up training and improves model performance. Our code is available at https://github.com/NVIDIA/DeepRecommender

研究の動機と目的

• リコメンダーシステムにおける深いオートエンコーダを用いた評価予測の改善を動機づける。
• CFにおいてより深いアーキテクチャが浅いものより一般化が良いことを示す。
• 負成分を持つ非線形活性化と強い正則化の重要性を示す。
• データの希薄性を扱い学習を速くするための反復的なdense re-feedingを導入する。

提案手法

• sparse ユーザ評価ベクトルから密な表現を学習するエンコーダ-デコーダの鏡像を持つ深いオートエンコーダを使用する。
• 層ごとの事前学習なしでエンドツーエンドで訓練する。
• SELU活性化、高いドロップアウト、制約付き（結合）重みを用いて過適合を抑える。
• 繰返しの出力再フィードを導入して、希薄な入力から密な訓練信号を作成する。
• 入力ベクトルのゼロを無視するようにマスクド平均二乗誤差（MMSE）を最適化する。
• 異なる深さ、ドロップアウト、訓練レジメンを試し、再フィードと組み合わせたより高い学習率で性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 協調フィルタリングにおいて、より深いオートエンコーダのアーキテクチャは浅いモデルより未来の評価予測を改善できるか？
• RQ2 特に負の部分を持つ活性化関数は、深いCFオートエンコーダの訓練にどのように影響するか？
• RQ3 正則化と訓練戦略（例：ドロップアウト、結合重み、密な再フィード）で、より良い一般化とより速い収束を得られるか？
• RQ4 反復的なdense re-feedingは、学習率を高く設定しても性能を維持・向上させられるか？

主な発見

データセット	I-AR	U-AR	RRN	DeepRec
Netflix 3 months	0.9778	0.9836	0.9427	0.9373
Netflix Full	0.9364	0.9647	0.9224	0.9099

• より深いオートエンコーダアーキテクチャはNetflixデータで評価RMSEを浅いものより改善する。
• 非ゼロの負の部分を持つ活性化関数と、正の部分が無限大になり得る（例：SELU）は、このタスクでSigmoid、ReLU、Tanhを上回る。
• コーディング層で高いドロップアウト（例：0.8）は過学習を防ぎ、一般化を改善する。
• 反復的な密な再フィードと高い学習率の組み合わせは、ベースライン訓練よりも性能を大きく向上させる。
• Netflix FullのBest DeepRecモデルは実験でテストRMSE0.9099を達成し、I-AR、U-AR、RRNなどの以前の手法を報告設定で上回る。
• 適切な正則化を施したより深いモデルは、評価データで未来の評価予測に対して時系列ダイナミクス手法を超える可能性がある。