[論文レビュー] Inductive Graph Pattern Learning for Recommender Systems Based on a Graph Neural Network.

Muhan Zhang, Yixin Chen|arXiv (Cornell University)|Apr 26, 2019

Recommender Systems and Techniques参考文献 26被引用数 6

ひとこと要約

本稿では、ユーザーおよびアイテムの表現を、(ユーザー, アイテム)のレーティングペアの周囲の1ホップ部分グラフのみで訓練されたグラフニューラルネットワーク（GNN）を用いて学習する、帰納的グラフベース行列補完（IGMC）を提案する。本手法は、補助情報なしで最先端の性能を達成し、未学習のユーザー／アイテムへの一般化および新しい推薦タスクへの転送を可能にする。

ABSTRACT

We propose an inductive matrix completion model without using side information. By factorizing the (rating) matrix into the product of low-dimensional latent embeddings of rows (users) and columns (items), a majority of existing matrix completion methods are transductive, since the learned embeddings cannot generalize to unseen rows/columns or to new matrices. To make matrix completion inductive, most previous works use content (side information), such as user's age or movie's genre, to make predictions. However, high-quality content is not always available, and can be hard to extract. Under the extreme setting where not any side information is available other than the matrix to complete, can we still learn an inductive matrix completion model? In this paper, we propose an Inductive Graph-based Matrix Completion (IGMC) model to address this problem. IGMC trains a graph neural network (GNN) based purely on 1-hop subgraphs around (user, item) pairs generated from the rating matrix and maps these subgraphs to their corresponding ratings. It achieves highly competitive performance with state-of-the-art transductive baselines. In addition, IGMC is inductive -- it can generalize to users/items unseen during the training (given that their interactions exist), and can even transfer to new tasks. Our transfer learning experiments show that a model trained out of the MovieLens dataset can be directly used to predict Douban movie ratings with surprisingly good performance. Our work demonstrates that: 1) it is possible to train inductive matrix completion models without using side information while achieving similar or better performances than state-of-the-art transductive methods; 2) local graph patterns around a (user, item) pair are effective predictors of the rating this user gives to the item; and 3) Long-range dependencies might not be necessary for modeling recommender systems.

研究の動機と目的

• 補助情報に依存せずに、未学習のユーザーおよびアイテムへ一般化可能な帰納的行列補完モデルを開発すること。
• 補助情報が欠如する状況下で、(ユーザー, アイテム)ペアの周囲の局所的グラフパターンがレーティング予測に有効な予測子として機能するかどうかを調査すること。
• レーティング行列のみが利用可能な極度のデータスパarsity下で、帰納的モデルを推薦システムに適用可能かどうかを評価すること。
• レーティング行列からの構造的情報のみを用いて、GNNが関連するユーザー・アイテム相互作用パターンを効果的に捉える可能性を評価すること。
• 共同フィルタリング設定における効果的な推薦モデリングに、長距離依存性が不可欠であるかどうかを検討すること。

提案手法

• レーティング行列から各(ユーザー, アイテム)ペアを中心に1ホップ部分グラフを構築し、直近の近隣相互作用を捉える。
• メッセージパッシングを用いて近隣情報の集約を行うことで、各1ホップ部分グラフをその対応するレーティングにマップするグラフニューラルネットワーク（GNN）を訓練する。
• 推論時に部分グラフを処理することで、未学習のユーザーまたはアイテムに対してもユーザーおよびアイテム埋め込みを帰納的に学習し、予測を可能にする。
• 部分グラフ構造およびノード特徴量（例：ユーザー／アイテムID）を処理するGNNアーキテクチャを用い、中心の(ユーザー, アイテム)ペアのレーティングを予測する。
• 類似した部分グラフが類似した埋め込みを持つように促す対照学習目的関数を用いて、表現品質を向上させる。
• 新しいデータセット（例：Douban）に対して、事前学習済みのGNNヘッドと新しい相互作用データのみを用いて微調整することで、転移学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 補助情報なしで、帰納的行列補完モデルが競争力のある性能を達成できるか？
• RQ2 (ユーザー, アイテム)ペアの周囲の局所的1ホップ部分グラフは、レーティングを効果的に予測するのに十分か？
• RQ3 1つの推薦データセットで学習したGNNベースのモデルが、再訓練なしに別のデータセットに一般化できるか？
• RQ4 行列補完における効果的な共同フィルタリングモデリングに、長距離依存性のモデル化が不可欠か？
• RQ5 未学習のユーザー／アイテムに対するゼロショット予測において、本モデルの帰納的能力は、従来のトランスダクティブベースラインと比べてどのように評価できるか？

主な発見

• IGMCは、補助情報なしであっても、最先端のトランスダクティブ行列補完手法と同等またはそれ以上の性能を達成する。
• 推論時に未学習のユーザーおよびアイテムへ効果的に一般化され、真の帰納的バイアスが示された。
• MovieLensデータセットで事前学習したモデルが、微調整なしにDouban映画レーティングデータセットで驚くべき高い性能を発揮した。これは、強力な転送可能性を示している。
• 局所的1ホップ部分グラフのみで、高精度なレーティング予測が可能である。これは、長距離依存性が効果的な推薦に不可欠ではないことを示唆している。
• 補助情報が欠如しても性能に悪影響を及ぼさず、IGMCは帰納的および転移学習の両設定で、トランスダクティブベースラインを上回るか同等の性能を発揮する。
• GNNベースのアプローチは、レーティング行列の構造から直接、意味のあるユーザーおよびアイテム表現を効果的に学習でき、帰納的一般化を可能にした。