[論文レビュー] On Sampling Strategies for Neural Network-based Collaborative Filtering

Ting Chen, Yizhou Sun+2 more|arXiv (Cornell University)|Jun 23, 2017

Recommender Systems and Techniques参考文献 34被引用数 4

ひとこと要約

本稿では、ユーザー・アイテムの相互作用とコンテンツ特徴の深層学習を組み合わせることで、最先端の推薦モデルを統一する一般化されたニューラルネットワークベースの協調フィルタリングフレームワークを提案する。計算コストの高い問題に対処するため、3つの新しいサンプリング戦略——層別サンプリング、ネガティブ共有、およびそれらのハイブリッド——を導入し、サンプリングされたリンク間で高価なノード計算を再利用することで、訓練時間を最大30倍短縮するとともに、より良い勾配推定と収束性により推薦性能を向上させる。

ABSTRACT

Recent advances in neural networks have inspired people to design hybrid recommendation algorithms that can incorporate both (1) user-item interaction information and (2) content information including image, audio, and text. Despite their promising results, neural network-based recommendation algorithms pose extensive computational costs, making it challenging to scale and improve upon. In this paper, we propose a general neural network-based recommendation framework, which subsumes several existing state-of-the-art recommendation algorithms, and address the efficiency issue by investigating sampling strategies in the stochastic gradient descent training for the framework. We tackle this issue by first establishing a connection between the loss functions and the user-item interaction bipartite graph, where the loss function terms are defined on links while major computation burdens are located at nodes. We call this type of loss functions "graph-based" loss functions, for which varied mini-batch sampling strategies can have different computational costs. Based on the insight, three novel sampling strategies are proposed, which can significantly improve the training efficiency of the proposed framework (up to $ imes 30$ times speedup in our experiments), as well as improving the recommendation performance. Theoretical analysis is also provided for both the computational cost and the convergence. We believe the study of sampling strategies have further implications on general graph-based loss functions, and would also enable more research under the neural network-based recommendation framework.

研究の動機と目的

• ユーザー・アイテム相互作用とコンテンツ特徴のための深層学習を統合するハイブリッドなニューラルネットワークベースの協調フィルタリングモデルの訓練における高い計算コストに対処すること。
• グラフ構造モデルにおけるリンクベースの損失関数とノードレベルの計算の間の乖離を特定すること。ここでは、サンプリング戦略が訓練効率に顕著な影響を与える。
• 複数のユーザー・アイテム相互作用にわたって高価なニューラルネットワーク演算（例：CNN）の冗長な計算を最小限に抑えるサンプリング戦略を設計すること。
• 理論的および実験的に、最適化されたサンプリングが訓練速度と推薦精度の両方を向上させることを検証すること。
• 推薦システムを超えた他のグラフベースの損失関数へも一般化可能な知見を得ること。

提案手法

• フレームワークは、ユーザーの好みを二部グラフ（ユーザー・アイテム相互作用グラフ）としてモデル化し、損失関数はリンク（ユーザー・アイテムペア）に定義されるが、主な計算コストはノードレベルの演算（例：アイテム画像のためのCNN、テキストのためのRNN）に集中する。
• 層別サンプリングは、共有ノードに基づいてリンクを層に分割し、各層内でサンプリングすることで、高価なノード計算を再利用する。
• ネガティブ共有は、ミニバッチ内での複数のネガティブリンクに同じノードを再利用することで、既存のノードから追加のネガティブサンプルを生成し、冗長な順方向計算を削減する。
• ハイブリッド戦略は、層別サンプリングとネガティブ共有を組み合わせ、計算の節約と勾配品質の両方を最適化し、両者の長所を活かす。
• 計算コストと収束性について理論的分析を提供し、提案戦略が標準的なIIDサンプリングと比較して収束速度を維持または向上させることを示している。
• 従来のモデル（例：オートエンコーダ、RNN、CNNを用いたコンテンツ表現）を一般化し、ペairワイズランキングや対照学習を含むさまざまな損失関数をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ユーザー・アイテム相互作用グラフの構造は、ニューラル協調フィルタリングにおける確率的勾配降下法の計算コストにどのように影響するか？
• RQ2 リンク間で共有されるノード計算を活用するサンプリング戦略は、モデル性能を低下させることなく、訓練時間を顕著に短縮できるか？
• RQ3 層別サンプリングやネガティブ共有といった異なるサンプリング戦略が、グラフベースの損失関数の収束性と効率性に与える影響は何か？
• RQ4 提案されたサンプリング戦略は、標準的なIIDサンプリングと比較して、訓練速度と推薦精度の両面で優れているか？
• RQ5 これらのサンプリング戦略は、推薦システムを超えた他のグラフベースの機械学習タスクへどの程度一般化可能か？

主な発見

• 著者らの実験では、提案されたサンプリング戦略により、標準的なIIDサンプリングと比較して訓練時間が最大30倍短縮され、著しく訓練効率が向上した。
• 層別サンプリングは、共有ノードを持つリンクをグループ化することで、複数のリンクにわたり高価なニューラルネットワークの順方向計算を再利用し、計算オーバーヘッドを低減する。
• ネガティブ共有は、ミニバッチ内での同じノード特徴から追加のネガティブリンクを生成することで、冗長な計算を最小限に抑える。
• 層別サンプリングとネガティブ共有を組み合わせたハイブリッド戦略は、計算の節約とモデル収束性の両面で最良のトレードオフを達成し、個別の戦略を上回る性能を示した。
• 理論的分析により、計算負荷を軽減しても、提案戦略はIIDサンプリングと同等またはそれ以上の収束特性を維持することが確認された。
• 実験的結果から、改善されたサンプリング戦略により、標準的なIIDサンプリングによる訓練と比較して、より高いAUCやNDCGスコアといった推薦性能が得られた。