[論文レビュー] Towards Open-World Recommendation: An Inductive Model-based Collaborative Filtering Approach

Qitian Wu, Hengrui Zhang+3 more|arXiv (Cornell University)|Jul 9, 2020

Recommender Systems and Techniques被引用数 12

ひとこと要約

本稿では、オープンワールド推薦システムにおける新規ユーザーおよび少数ラーティングユーザーのための、効率的でスケーラブルかつ高容量な表現学習を可能にする、インダクティブな協調フィルタリングフレームワークIDCFを提案する。キーユーザーからのメタ埋め込みを用いたアテンションベースのメッセージパッシングにより動的ユーザー同士の関係グラフを学習することで、再訓練を伴わずに少数ラーティングおよびゼロラーティングユーザーにおいて最先端の性能を達成し、高いスパarsity下でもトランスダクティブモデルを上回る性能を発揮する。

ABSTRACT

Recommendation models can effectively estimate underlying user interests and predict one's future behaviors by factorizing an observed user-item rating matrix into products of two sets of latent factors. However, the user-specific embedding factors can only be learned in a transductive way, making it difficult to handle new users on-the-fly. In this paper, we propose an inductive collaborative filtering framework that contains two representation models. The first model follows conventional matrix factorization which factorizes a group of key users' rating matrix to obtain meta latents. The second model resorts to attention-based structure learning that estimates hidden relations from query to key users and learns to leverage meta latents to inductively compute embeddings for query users via neural message passing. Our model enables inductive representation learning for users and meanwhile guarantees equivalent representation capacity as matrix factorization. Experiments demonstrate that our model achieves promising results for recommendation on few-shot users with limited training ratings and new unseen users which are commonly encountered in open-world recommender systems.

研究の動機と目的

• 推論時において新規で登場する未観測ユーザーが現れるオープンワールド設定において推薦モデルを導入する課題に対処すること。
• 再訓練なしでは新規ユーザーに一般化できないトランスダクティブな協調フィルタリングの制限を克服すること。
• ユーザー固有の埋め込みの高い表現能力を維持しつつ、インダクティブな推論を可能にすること。
• 少数または全くラーティングのないユーザーに対しても一般化できるスケーラブルで効率的なフレームワークを開発すること。
• 構造学習とメッセージパッシングをエンドツーエンドでデータ駆動的に統合し、インダクティブ表現学習を向上させること。

提案手法

• キーユーザーのサブセットに対して行列分解を用い、ユーザーの好みのパターンを捉えるメタ埋め込み表現を学習する。
• クエリユーザーとキーユーザーの間の隠れた依存関係をモデル化するため、動的でアテンションベースのユーザー同士の関係グラフを学習する。
• キーユーザーからクエリユーザーへメタ埋め込みを伝搬するためのニューラルメッセージパッシングを適用し、ユーザー埋め込みのインダクティブ計算を可能にする。
• 関係学習を、下流の推薦損失によってガイドされる微分可能プロセスとして定式化することで、構造と表現の共同最適化を可能にする。
• 関係モデリングの向上を図るため、グラフ畳み込み層を組み込んだGNNベースの変種（IDCF-GC）を用いる。
• 観測済みのラーティングからの教師信号を用いてエンドツーエンドでモデルを学習し、未観測ユーザーへの一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 再訓練なしで表現能力を損なわずに、協調フィルタリングにおける新規ユーザーのインダクティブ表現学習を達成できるか？
• RQ2 データ駆動的にユーザー同士の関係を効果的にモデル化することで、インダクティブ推論を支援できるか？
• RQ3 学習済み関係上でのアテンションベースのメッセージパッシングは、少数ラーティングおよびゼロラーティングユーザーにおける性能向上に寄与するか？
• RQ4 高いラーティングスパarsity下でも、提案されたインダクティブフレームワークはトランスダクティブモデルと比較して優れた性能を示すか？
• RQ5 より多くの歴史的ラーティングを持つキーユーザーは、アテンションメカニズムおよびモデルの一般化において果たす役割は何か？

主な発見

• IDCF-GCは、5件未満の歴史的ラーティングを持つユーザーにおいて、最良のトランスダクティブモデル（GCMC）よりもRMSEで2.5%相対的に向上する。
• 高いスパarsity下でも安定した性能を維持し、NNMF や GCMC などのトランスダクティブモデルと比較して、RMSEの低下が顕著に小さい。
• 歴史的ラーティングの多いキーユーザーは一貫して高い蓄積アテンション重みを獲得しており、インダクティブ推論を導く上で重要であることが示唆される。
• IDCF-NN および IDCF-GC は、ユーザーのラーティング数に応じた性能低下が滑らかで、低ラーティングユーザーにおいてトランスダクティブモデルを上回る。
• IDCFは適切なスケーラビリティを備えており、1エポックあたりの学習時間はGCMCと比べて約1倍程度遅いが、新規ユーザーの再訓練を回避できる。
• IDCFにおけるエンドツーエンドでデータ駆動的な構造学習により、グラフ構築とメッセージパッシングの相互強化が実現され、インダクティブ一般化が向上する。