[論文レビュー] Convolutional Geometric Matrix Completion

Kai-Lang Yao, Wu-Jun Li+2 more|arXiv (Cornell University)|Mar 2, 2018

Advanced Graph Neural Networks参考文献 52被引用数 7

ひとこと要約

本稿では、ユーザ・アイテム関係グラフを行列補完に統合する純粋なGCNベースの推薦手法である畳み込み幾何的行列補完（CGMC）を提案する。重み付き自己近傍融合を特徴とする新規グラフ畳み込み層と、埋め込み空間の整合性を確保する全結合投影層を設計することで、実世界のデータセットにおいて精度と学習速度の両面で最先端の性能を達成し、RMGCNNや他のSOTA手法を上回っている。

ABSTRACT

Geometric matrix completion (GMC) has been proposed for recommendation by integrating the relationship (link) graphs among users/items into matrix completion (MC). Traditional GMC methods typically adopt graph regularization to impose smoothness priors for MC. Recently, geometric deep learning on graphs (GDLG) is proposed to solve the GMC problem, showing better performance than existing GMC methods including traditional graph regularization based methods. To the best of our knowledge, there exists only one GDLG method for GMC, which is called RMGCNN. RMGCNN combines graph convolutional network (GCN) and recurrent neural network (RNN) together for GMC. In the original work of RMGCNN, RMGCNN demonstrates better performance than pure GCN-based method. In this paper, we propose a new GMC method, called convolutional geometric matrix completion (CGMC), for recommendation with graphs among users/items. CGMC is a pure GCN-based method with a newly designed graph convolutional network. Experimental results on real datasets show that CGMC can outperform other state-of-the-art methods including RMGCNN in terms of both accuracy and speed.

研究の動機と目的

• グラフ正則化やハイブリッドGCN-RNNアーキテクチャに依存する従来の幾何的行列補完（GMC）手法の限界を解消すること。
• 適切に設計された純粋なGCNベースのアプローチが、GMCで最先端の性能を達成できるかどうかを調査すること。
• 専用の投影層を導入することで、レーティング行列とグラフ構造の間の埋め込みの整合性を向上させること。
• 自己接続と近隣ノードの情報のバランスを取る重み付きポリシーを導入することで、グラフ畳み込みにおける特徴学習を強化すること。
• GCNと行列補完のコンponentsが互いにフィードバックし合う統合的でエンド・ツー・エンドのディープラーニングフレームワークを構築すること。

提案手法

• スペクトルグラフ畳み込みにおけるチェビシェフ多項式の最初の2項に基づく新規グラフ畳み込み層を提案し、効率的かつ安定したメッセージパッシングを実現する。
• 自己接続と隣接ノードの寄与度を動的に制御する重み付きポリシーを導入し、特徴表現の質を向上させる。
• GCNの後に全結合層を適用し、グラフ空間からのユーザおよびアイテム埋め込みをレーティング行列空間に投影することで、グラフ表現とレーティング表現の整合性を確保する。
• GCNと行列補完を統合的なディープラーニングフレームワークに統合し、コンponents間の相互フィードバックを可能にするエンド・ツー・エンド学習を実現する。
• 大規模データセットにおける効率的な最適化とスケーラビリティを考慮し、因子分解型行列因子分解損失を採用する。
• 過学習を防ぐために早期停止法とL2正則化を採用し、ハイパーパrameterは検証セットの性能に基づいて調整する。

実験結果

リサーチクエスチョン

• RQ1 純粋なGCNベースのアーキテクチャが、RMGCNNのようなハイブリッドGCN-RNNモデルを凌駕できるか？
• RQ2 自己接続と近隣ノードの間の重み付き融合ポリシーは、推薦のためのグラフ埋め込み品質向上にどの程度効果的か？
• RQ3 グラフベースの埋め込みとレーティング行列埋め込みを一致させるために専用の全結合投影層を導入した際の影響は何か？
• RQ4 RMGCNN や GC-MC といった最先端手法と比較して、CGMC の精度と学習効率はどの程度か？
• RQ5 重み係数 γ や埋め込み次元 d といった主要ハイパーパrameterに、CGMC はどの程度感度を示すか？

主な発見

• CGMC は4つのベンチマークデータセット（ML-100K, Douban, Flixster, YahooMusic）において、RMSE と学習速度の両面で RMGCNN や GC-MC を上回る最高の性能を達成した。
• ML-1M データセットでは、1エポックあたり7秒で RMSE 0.8275 を達成し、RMGCNN（212秒）や GC-MC（3116秒）に比べて顕著に高速であった。
• アブレーションスタディの結果、全結合層を削除した場合（CGMC-0）は、すべてのデータセットおよびGCNの深さにおいて一貫した性能低下が確認された。
• CGMC のGCNをGCN-kwに置き換えると性能が悪化し、提案された重み付き近傍融合ポリシーの優位性が裏付けられた。
• CGMC はハイパーパrameterの変動に強く、γ の値（10⁻⁴ から 1.0）や埋め込み次元の広い範囲においても強固な性能を維持しており、低次元 d でも同様に優れた性能を示した。
• YahooMusic のような大規模データセットにおいても安定的かつ有望な結果を達成し、RMSE 18.9 を記録。RMGCNN（19.9）や GC-MC（34.6）を上回った。