[論文レビュー] Geometric Matrix Completion with Recurrent Multi-Graph Neural Networks

Federico Monti, Michael M. Bronstein+1 more|arXiv (Cornell University)|Apr 22, 2017

Graph Theory and Algorithms被引用数 241

ひとこと要約

本論文は、マトリクス完成のための再帰的グラフCNN（RGCNN）を提案し、ユーザー/アイテムのグラフ上でのマルチグラフ畳み込みとLSTM拡散を組み合わせて評価を予測し、一定数のパラメータで最先端の結果を達成する。

ABSTRACT

Matrix completion models are among the most common formulations of recommender systems. Recent works have showed a boost of performance of these techniques when introducing the pairwise relationships between users/items in the form of graphs, and imposing smoothness priors on these graphs. However, such techniques do not fully exploit the local stationarity structures of user/item graphs, and the number of parameters to learn is linear w.r.t. the number of users and items. We propose a novel approach to overcome these limitations by using geometric deep learning on graphs. Our matrix completion architecture combines graph convolutional neural networks and recurrent neural networks to learn meaningful statistical graph-structured patterns and the non-linear diffusion process that generates the known ratings. This neural network system requires a constant number of parameters independent of the matrix size. We apply our method on both synthetic and real datasets, showing that it outperforms state-of-the-art techniques.

研究の動機と目的

• マトリクス完成にグラフ構造 priors を組み込んで、ユーザー/アイテムグラフの局所的な定常性を捉える動機付け。
• グラフ構造パターンと評価の拡散ダイナミクスを学習するニューラルアーキテクチャを開発する。
• 定数パラメータ数を実現する、スケーラブルな因子分解型または全マトリクス形式。
• ベースラインと比較して合成データおよび実世界のレコメンダーデータセットで優れた性能を示す。

提案手法

• 行と列のグラフ上にマトリクスを表現し、Xの滑らかさ正則化のためのラプラシアンを用いる。4
• Chebyshev多項式フィルターを介してユーザーおよびアイテムのグラフ全体で空間特徴を抽出するために、MGCNNを使用してO(mn)の計算量を維持する。
• パラメータをO(m+n)に削減するため、WとH上で分離可能（因子分解型）のGCNNを任意選択で使用する。
• 空間的特徴を再帰ニューラルネット（LSTM）と結合し、拡散的な時間更新 X^(t+1)=X^(t)+dX^(t) を実行する。
• 観測エントリに対するマスク付きフローベリス誤差を含むグラフベース正則化項を含む損失を最小化することで、エンドツーエンドで訓練する。
• 2つのアーキテクチャを提供する：（i）MGCNN+RNN（RGCNN）による全マトリクス完成、（ii）WとHのための2つのGCNNとRNNを用いた因子分解型の分離モデル（sRGCNN）。

実験結果

リサーチクエスチョン

• RQ1 グラフ上での幾何学的ディープラーニングは、従来のグラフ正規化や低ランク法を超えるマトリクス完成を実現できるか？
• RQ2 MGCNNを介したグラフ構造スコアの再帰拡散は、合成データおよび実データセットで既存のベースラインより優れているか？
• RQ3 完全なマトリクス表現と因子化（W,H）表現の間で、スケーラビリティと精度の観点でどのようなトレードオフがあるか？
• RQ4 どの程度の拡散ステップとどのようなグラフ多項式次数が、堅牢な性能を達成するのに必要か？

主な発見

• 合成データで強いコミュニティ構造がある場合、RGCNNは検討された他の手法の中で最良のRMSEを達成する（例: RGCNNの0.0053に対してGMC/GRALS/sRGCNNはより高い値）。
• synthetic-column-only設定では、sRGCNNはGRALSや他のベースラインを引き続き上回る（例: RMSE 0.0362 vs. 0.0452 for GRALS）。
• MovieLensでは、RGCNNとその派生モデルがベースラインを上回る（例: sRGCNN RMSE 0.929 vs. MC 0.973 and GMC 0.996）。
• Flixster、Douban、YahooMusicにおいてRGCNNファミリはGRALSやGMCなどの最先端手法を上回り、sRGCNN/RGCNNが報告された中で最良のRMSEを達成。
• このアプローチは学習パラメータ数を非常に少なく維持し（全RGCNNでO(1)；分離可能なsRGCNNでO(m+n)）、アーキテクチャに応じてO(mn)またはO(m+n)の計算量でスケールする。
• 学習済みスペクトルフィルタ（Chebyshev多項式による）と拡散に基づく訓練は、スペクトルパターンと拡散ダイナミクスを解釈可能にする（スペクトルフィルタのプロットに示されている）。