[論文レビュー] DeepCF: A Unified Framework of Representation Learning and Matching Function Learning in Recommender System

Zhi‐Hong Deng, Ling Huang+3 more|arXiv (Cornell University)|Jan 15, 2019

Recommender Systems and Techniques参考文献 27被引用数 21

ひとこと要約

本稿では、推薦システムにおける協調フィルタリングのための表現学習とマッチング関数学習を統合する統一的ディープラーニングフレームワーク、DeepCFを提案する。2つのアプローチからのユーザー・アイテム表現を連結し、全結合層を用いてマッチングスコアを学習することで、暗黙的フィードバックを用いた4つのベンチマークデータセットにおいて、HRおよびNDCG指標で既存手法を上回る最先端の性能を達成した。

ABSTRACT

In general, recommendation can be viewed as a matching problem, i.e., match proper items for proper users. However, due to the huge semantic gap between users and items, it's almost impossible to directly match users and items in their initial representation spaces. To solve this problem, many methods have been studied, which can be generally categorized into two types, i.e., representation learning-based CF methods and matching function learning-based CF methods. Representation learning-based CF methods try to map users and items into a common representation space. In this case, the higher similarity between a user and an item in that space implies they match better. Matching function learning-based CF methods try to directly learn the complex matching function that maps user-item pairs to matching scores. Although both methods are well developed, they suffer from two fundamental flaws, i.e., the limited expressiveness of dot product and the weakness in capturing low-rank relations respectively. To this end, we propose a general framework named DeepCF, short for Deep Collaborative Filtering, to combine the strengths of the two types of methods and overcome such flaws. Extensive experiments on four publicly available datasets demonstrate the effectiveness of the proposed DeepCF framework.

研究の動機と目的

• 表現学習に依存する既存の協調フィルタリング手法（表現力に限界あり）やマッチング関数学習に依存する手法（低ランク関係の捉え方の弱さ）の限界を解消すること。
• 表現学習ベースおよびマッチング関数学習ベースのCF手法を統合し、より良い推薦性能を実現する、エンドツーエンドのディープラーニングフレームワークを統合すること。
• 複雑な関数のモデル化における柔軟性と、低ランクのユーザー・アイテム関係の効率的捕捉という両アプローチの長所を活かし、暗黙的フィードバックデータを用いてモデルを設計すること。
• 実世界の暗黙的フィードバックデータセットを用いた広範な実験を通じて、フレームワークの有効性を実証すること。

提案手法

• 2つの異なる表現を統合する：1つは表現学習ベースの手法（例：ディープ行列分解）からのもの、もう1つはマッチング関数学習ベースの手法（例：MLPを用いたユーザー・アイテム相互作用モデリング）からのもの。
• これらの2つの表現を連結して、各ユーザー・アイテムペアの統合表現を形成する。
• 全結合層が統合表現を処理し、非線形のマッチングスコアを学習することで、特徴量の適応的重み付けを可能にする。
• ポイントワイズ損失とネガティブサンプリングを用いてモデルを訓練する。ネガティブサンプルは、各正例のユーザー・アイテムペアごとに抽出される。
• 共同学習の前に、2つのコンポonentを別々に事前学習することで、多様で頑健な初期表現を確保する。
• 最終的なモデル、CFNetは、要素ごとの積とパラメトリックなニューラル層を用いて特徴の相互作用を強化し、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 表現学習とマッチング関数学習を統合することで、現在の最先端手法を上回る推薦性能を達成できるか？
• RQ2 2つの異なる学習パラダイムから得られる統合表現は、非線形関係の複雑な捉え方と低ランク類似性の両方を効果的に捉える能力にどのように影響を与えるか？
• RQ3 統合フレームワークにおける2つのコンポーネントの事前学習が、モデル性能に及ぼす影響は何か？
• RQ4 負サンプリング比や予測要因の数といったハイパーパrameterの変更に、モデル性能はどれほど感度を示すか？
• RQ5 提案されたDeepCFフレームワークは、異なる種類の暗黙的フィードバックデータセットに一般化可能か？

主な発見

• ml-1mデータセットでは、事前学習を施したCFNetモデルがHR@10 0.7253、NDCG@10 0.4416を達成し、事前学習なしバージョンを上回った。
• 最適なネガティブサンプリング比は3〜7の間であり、HR@10は比3でピークに達し、NDCG@10は比6でピークに達した。
• ほとんどのデータセットで64の予測要因が最良の結果をもたらしたが、AMusicでは16の要因が最良の結果をもたらした。
• 事前学習を施したCFNetは、全データセットで事前学習なしバージョンを常に上回り、多様な表現を学習する上での事前学習の価値を裏付けた。
• 要素ごとの積とパラメトリックなニューラル層の組み合わせは、ベースライン手法と比較して性能を顕著に向上させた。
• 4つの多様なデータセット（ml-1m、lastfm、AMusic、AToy）にわたる強力な一般化性能を示し、DeepCFフレームワークの頑健性を確認した。