[論文レビュー] Inductive Matrix Completion Based on Graph Neural Networks

Muhan Zhang, Yixin Chen|arXiv (Cornell University)|Apr 26, 2019

Advanced Graph Neural Networks参考文献 51被引用数 31

ひとこと要約

本稿では、側面情報や完全なレーティング行列に依存せずに、各 (ユーザー, アイテム) 組み合わせの周辺1ホップ部分グラフ上でグラフニューラルネットワーク (GNN) をトレーニングすることで、ユーザー・アイテムレーティングを予測する能力を学ぶ、インダクティブ・グラフベースの行列補完 (IGMC) という新しいインダクティブ行列補完モデルを提案する。IGMCはベンチマークデータセットで最先端の性能を達成し、強力な転移性を示しており、低データ環境下でも従来のトランスダクティブベースラインを上回り、新しいレコメンデーションタスクへのゼロショット転移を可能にしている。

ABSTRACT

We propose an inductive matrix completion model without using side information. By factorizing the (rating) matrix into the product of low-dimensional latent embeddings of rows (users) and columns (items), a majority of existing matrix completion methods are transductive, since the learned embeddings cannot generalize to unseen rows/columns or to new matrices. To make matrix completion inductive, most previous works use content (side information), such as user's age or movie's genre, to make predictions. However, high-quality content is not always available, and can be hard to extract. Under the extreme setting where not any side information is available other than the matrix to complete, can we still learn an inductive matrix completion model? In this paper, we propose an Inductive Graph-based Matrix Completion (IGMC) model to address this problem. IGMC trains a graph neural network (GNN) based purely on 1-hop subgraphs around (user, item) pairs generated from the rating matrix and maps these subgraphs to their corresponding ratings. It achieves highly competitive performance with state-of-the-art transductive baselines. In addition, IGMC is inductive -- it can generalize to users/items unseen during the training (given that their interactions exist), and can even transfer to new tasks. Our transfer learning experiments show that a model trained out of the MovieLens dataset can be directly used to predict Douban movie ratings with surprisingly good performance. Our work demonstrates that: 1) it is possible to train inductive matrix completion models without using side information while achieving similar or better performances than state-of-the-art transductive methods; 2) local graph patterns around a (user, item) pair are effective predictors of the rating this user gives to the item; and 3) Long-range dependencies might not be necessary for modeling recommender systems.

研究の動機と目的

• 側面情報に依存せずに、未観測のユーザーおよびアイテムに一般化可能なインダクティブ行列補完モデルを開発すること。
• ユーザー・アイテム相互作用グラフ内の局所的グラフパターンが、レーティング予測の有効なインダクティブバイアスとして機能するかどうかを調査すること。
• 極度のデータスパarsity下およびゼロショット転移学習設定下におけるインダクティブ行列補完の可能性を評価すること。
• 低データ環境下におけるインダクティブGNNベースの手法と最先端のトランスダクティブベースラインの性能を比較すること。

提案手法

• IGMCは、レーティング行列から二部グラフを構築し、エッジがユーザー・アイテムの相互作用を表す。
• 各 (ユーザー, アイテム) 組み合わせに対して、そのペアを中心とする1ホップの囲繞部分グラフを抽出し、局所的な近隣構造を捉える。
• GNNが各部分グラフを処理し、局所的グラフパターンをノードおよびエッジの表現にエンコードする。
• プーリング層を用いて部分グラフ表現を固定長のベクトルに集約し、予測に用いる。
• 隣接レーティング正則化 (ARR) を適用し、局所的なレーティング分布に基づいた一貫性のある予測を促進する。
• 最終的な予測は、プールドされた部分グラフ表現に多層パーセプトロンを適用することで計算される。

実験結果

リサーチクエスチョン

• RQ1 側面情報なしに、ユーザー・アイテム相互作用グラフ内の局所的グラフパターンにのみ依存して、インダクティブ行列補完を達成できるか？
• RQ2 さまざまなデータスパarsityレベル下で、インダクティブGNNベースのモデルの性能は、最先端のトランスダクティブ行列補完手法と比べてどうなるか？
• RQ3 あるデータセットで学習したIGMCモデルが、未観測の別のレコメンデーションデータセットのレーティングを予測するのにどの程度転送可能か？
• RQ4 (ユーザー, アイテム) 組み合わせの周辺の局所的グラフ構造だけがレーティング予測に十分か、それとも長距離依存性が必要か？

主な発見

• IGMCは、MovieLens、Flixster、Douban、YahooMusicといった標準ベンチマークデータセットにおいて、最先端のトランスダクティブベースラインと同等の性能を達成している。
• 低データ環境（スパarsity比 < 20%）下では、IGMCがトランスダクティブ手法を上回っており、限られたトレーニングデータからのより優れた一般化能力を示している。
• モデルは強力な転移学習能力を示している：MovieLensで事前学習したIGMCモデルは、FlixsterでRMSE 0.906、Doubanで0.759、YahooMusicで20.1を達成し、他のインダクティブモデルや多くの微調整済みベースラインを上回っている。
• IGMCの性能は、異なるレーティングスケールや分布を持つデータセットへの転送時でも安定しており、局所的グラフパターンからの有効なインダクティブバイアスが裏付けられている。
• アブレーションスタディにより、プーリング層と隣接レーティング正則化が性能向上に顕著に寄与しており、コンテンツ情報を組み込むことでモデル性能が向上しないことから、グラフパターンそのものの有効性が検証された。
• 高評価・低評価の部分グラフの可視化により、一貫したユーザー／アイテム平均レーティングなどの明確な構造的パターンが観察され、モデルが局所トポロジーからレーティングを推論できることを裏付けている。