[論文レビュー] Neural Collaborative Autoencoder

Qibing Li, Xiaolin Zheng+1 more|arXiv (Cornell University)|Dec 25, 2017

Recommender Systems and Techniques被引用数 6

ひとこと要約

本稿では、明示的フィードバックと暗黙的フィードバックの両方に対して効果的に機能する協調フィルタリングのための深層学習フレームワーク、Neural Collaborative Autoencoder (NCAE) を提案する。三段階の事前学習戦略、誤差再重み付け、スパarsityに配慮したデータ拡張を活用することで、NCAE は現実のデータセットにおいて最先端の性能を達成し、NCF や eALS といった強力なベースラインを、スパースな学習条件下でトップ50の推薦指標において最大66.3%まで上回った。

ABSTRACT

In recent years, deep neural networks have yielded state-of-the-art performance on several tasks. Although some recent works have focused on combining deep learning with recommendation, we highlight three issues of existing models. First, these models cannot work on both explicit and implicit feedback, since the network structures are specially designed for one particular case. Second, due to the difficulty on training deep neural networks, existing explicit models do not fully exploit the expressive potential of deep learning. Third, neural network models are easier to overfit on the implicit setting than shallow models. To tackle these issues, we present a generic recommender framework called Neural Collaborative Autoencoder (NCAE) to perform collaborative filtering, which works well for both explicit feedback and implicit feedback. NCAE can effectively capture the subtle hidden relationships between interactions via a non-linear matrix factorization process. To optimize the deep architecture of NCAE, we develop a three-stage pre-training mechanism that combines supervised and unsupervised feature learning. Moreover, to prevent overfitting on the implicit setting, we propose an error reweighting module and a sparsity-aware data-augmentation strategy. Extensive experiments on three real-world datasets demonstrate that NCAE can significantly advance the state-of-the-art.

研究の動機と目的

• 既存の深層学習モデルが協調フィルタリングにおいて、明示的フィードバックと暗黙的フィードバックの両方を効果的に処理できないという限界を解消すること。
• データスパarsityと過学習のため、特に暗黙的フィードバック設定において深層ネットワークの学習が困難であるという課題を克服すること。
• 非線形なユーザ-アイテム関係をオートエンコーダーに基づく非線形行列分解を用いて捉えることのできるスケーラブルで頑健なアーキテクチャを開発すること。
• 新しい事前学習、誤差再重み付け、データ拡張戦略を導入することで、スパースデータにおける一般化性能と性能を向上させること。

提案手法

• NCAE は、非線形行列分解を介してユーザまたはアイテムの好みベクトルを再構築する深層オートエンコーダー・アーキテクチャを採用しており、スケーラビリティを高めるために、相互作用レベルではなくユーザ/アイテムレベルで動作する。
• 三段階の事前学習メカニズムは、最初の層の教師あり事前学習と、より深い層の教師なし事前学習を組み合わせ、学習の安定性と表現学習の質を向上させる。
• 誤差再重み付けモジュールは、すべての未観測相互作用をネガティブフィードバックとして扱い、暗黙的フィードバック学習におけるモデルの頑健性を向上させる。
• スパarsityに配慮したデータ拡張戦略は、学習中に合成されたアイテム相関パターンを導入することで、順位付け性能の向上と過学習の低減を図る。
• スパースなフォワードおよびバックワードモジュール（TensorFlow 演算を介して）を用いることで、スパースなユーザおよびアイテムベクトルを効率的に処理し、大規模データセットにおける高速バッチ学習を可能にする。
• スパース入力ベクトルを想定した新しい損失関数を設計し、学習の安定性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 統合された深層学習フレームワークは、協調フィルタリングにおいて明示的フィードバックと暗黙的フィードバックの両方を効果的に処理できるか？
• RQ2 推薦システムにおける深層ニューラルネットワークを、学習の不安定性と収束不良を克服するために効果的に事前学習するにはどうすればよいか？
• RQ3 ネガティブサンプルが観測されていない暗黙的フィードバック設定において、過学習を緩和するにはどのような戦略が有効か？特に、非線形モデルは記憶に陥りがちである。
• RQ4 提案されたアーキテクチャは、大規模かつスパースなデータセットに対してもスケーリング可能であり、高い性能を維持できるか？
• RQ5 事前学習、誤差再重み付け、データ拡張は、データスパarsity下で推薦精度と頑健性をどの程度向上させるか？

主な発見

• 訓練データが全セットの40%にまでスパースな状態でも、NCAE+ は HR@50 で eALS より最大66.3%、NDCG@100 で 50.0% まで上回った。
• Last.fm データセットでは、NCAE+ は訓練データが40%のとき HR@50 が 0.123 を達成し、eALS が80%、NCF が60%のときを上回った。
• NCAE は強力なスケーラビリティを示し、ML-10M データセットにおける1エポックあたりの訓練時間は隠れ次元 K にほぼ線形に増加し、60エポックで収束するまでにたった6.3秒にとどまった。
• データスパarsityが高くなるほどモデルの性能が顕著に向上するため、ベースラインと比較して低データ環境下でも優れた頑健性を示している。
• 三段階の事前学習メカニズムにより、特に明示的フィードバックにおいて、より深いアーキテクチャがより良い性能を発揮できるよう、深層表現の効果的な初期化が可能になった。
• スパarsityに配慮したデータ拡張戦略により、推論時に真のポジティブアイテムのより良い順位付けが可能になった。