[論文レビュー] Towards Large Scale Training Of Autoencoders For Collaborative Filtering

Abdallah Moussawi|arXiv (Cornell University)|Aug 30, 2018

Speech and Audio Processing参考文献 2被引用数 5

ひとこと要約

この論文では、大規模な協調フィルタリングにimplicit feedbackを用いた潜在因子オートエノードラの効率的学習を実現するため、ミニバッチ単位のネガティブサンプリング手法を提案する。同じミニバッチ内で他のユーザーがインタラクションを行ったアイテムのみをネガティブサンプルとして選択することで、学習時間を O(|U|×|I|) から O(m×∑|I_u|) に削減し、CPUで2.3倍以上、GPUで2.0倍の高速化を達成した。性能はベースラインにほぼ同等（NDCG@100で3.72%以内の低下）を維持した。

ABSTRACT

In this paper, we apply a mini-batch based negative sampling method to efficiently train a latent factor autoencoder model on large scale and sparse data for implicit feedback collaborative filtering. We compare our work against a state-of-the-art baseline model on different experimental datasets and show that this method can lead to a good and fast approximation of the baseline model performance. The source code is available in https://github.com/amoussawi/recoder .

研究の動機と目的

• 大規模かつスパースなユーザー・アイテムインタラクションデータに対するオートエノードラの学習における計算非効率性を解消すること。
• 学習中に高次元かつ極めてスパースなインタラクションベクトルを再構築する際の時間計算量を低減すること。
• ターゲットドネガティブサンプリングにより、大幅に高速化しながらも高い推薦性能を維持すること。
• implicit feedbackを伴う産業規模のデータセットに対して、非線形オートエノードラモデルのスケーラブルな学習を可能にすること。

提案手法

• モデルは、ユーザーインタラクションベクトルに多層パーセプトロン（f_λ）を適用してユーザー埋め込みを学習し、その後ロジスティック尤度を用いた再構築ヘッド（g_θ）を備えた深層オートエノードラアーキテクチャを採用する。
• ネガティブ対数尤度損失は、ロジスティック尤度を用いて最小化される： -∑ᵢ xᵤ log(g_θ(zᵤ)) - (1 - xᵤ) log(1 - g_θ(zᵤ))。
• ネガティブサンプリングはミニバッチごとに行われ、全アイテムセットではなく、同じミニバッチ内の他のユーザーがインタラクションを行ったアイテムのみを対象とする。
• アイテム i のサンプリング確率は P = min(|Uᵢ|/N, 1) で与えられ、N ≈ |U|/m である。これにより、人気アイテムに偏ったサンプリングが実現される。
• 入力ドロップアウトと、エンコーダおよびデコーダの両方のパラメータに対するL2重み減衰を用いて正則化を実施する。
• 大規模バッチ処理のメモリ効率を高めるために、大きなスパースバッチをより小さく管理可能なミニバッチに分割する機能をサポートする。

実験結果

リサーチクエスチョン

• RQ1 オートエノードラベースの協調フィルタリングの学習時間削減に、ミニバッチ単位のネガティブサンプリング戦略が顕著に効果を発揮するか？
• RQ2 同じミニバッチ内の他のユーザーがインタラクションを行ったアイテムのみをネガティブサンプルとして選択する戦略と、全アイテムセットからのネガティブサンプリングとを比較した場合、性能とスケーラビリティにどのような差が生じるか？
• RQ3 非線形オートエノードラモデルは、大規模なスパースデータ上でより高速に学習可能でありながら、最先端のベースラインモデルの性能をどの程度再現できるか？
• RQ4 バッチサイズの選択がネガティブサンプリングのバイアスおよびモデルの一般化性能に与える影響はどの程度か？
• RQ5 0.064%のスパarsityを示す非常に大規模なデータセットに対しても、提案手法は効率性を維持しながらスケーリング可能か？

主な発見

• 提案手法は、全データセットにおいてCPUで2.6倍から3.32倍、GPUで2.1倍から3.32倍の高速化を達成した。
• ML-20MではNDCG@100が0.4193を達成し、ベースライン（0.4212）と比較して0.45%の低下に留めた。
• MSD-LargeではNDCG@100が0.2945を達成し、ベースライン（0.3059）と比較して3.72%の低下を示したが、GPU上で3.32倍の高速化を達成した。
• 500人のユーザーからなるバッチの平均入力ベクトルサイズは、全アイテムセットを用いた場合の98,485から18,740に大幅に削減された。
• すべてのデータセット、特に最大規模のMSD-Largeに対しても、一貫した性能を維持しており、スパarsityの増加に対しても頑健であることが示された。
• 交差検証の結果、バッチサイズ500が最適であることが判明した。これより小さいサイズでは、数エポックで過学習が発生し、性能が低下した。