[論文レビュー] Graph-Revised Convolutional Network

Donghan Yu, Ruohong Zhang+3 more|arXiv (Cornell University)|Nov 17, 2019

Advanced Graph Neural Networks参考文献 36被引用数 7

ひとこと要約

本稿では、グラフ修復とノード分類を同時に学習する新しいフレームワーク、Graph-Revised Convolutional Network (GRCN) を提案する。GCNベースのモジュールを用いてエッジ予測と重み再調整を実行し、エンド・トゥ・エンドの学習により、構造的ノイズや欠落エッジを効果的に処理する。GRCNは、特にグラフが著しく不完全である場合やラベルがスパースな場合に、強力なベースラインを上回る性能を発揮する。

ABSTRACT

Graph Convolutional Networks (GCNs) have received increasing attention in the machine learning community for effectively leveraging both the content features of nodes and the linkage patterns across graphs in various applications. As real-world graphs are often incomplete and noisy, treating them as ground-truth information, which is a common practice in most GCNs, unavoidably leads to sub-optimal solutions. Existing efforts for addressing this problem either involve an over-parameterized model which is difficult to scale, or simply re-weight observed edges without dealing with the missing-edge issue. This paper proposes a novel framework called Graph-Revised Convolutional Network (GRCN), which avoids both extremes. Specifically, a GCN-based graph revision module is introduced for predicting missing edges and revising edge weights w.r.t. downstream tasks via joint optimization. A theoretical analysis reveals the connection between GRCN and previous work on multigraph belief propagation. Experiments on six benchmark datasets show that GRCN consistently outperforms strong baseline methods by a large margin, especially when the original graphs are severely incomplete or the labeled instances for model training are highly sparse.

研究の動機と目的

• 既存のGCNが完璧でノイズのないグラフを仮定しているという制限を是正し、現実世界のデータにおいて劣った性能を示す問題を解決すること。
• グラフ修復手法におけるモデルの表現力とスケーラビリティのトレードオフを克服し、過剰にパrameter化されたモデルを避けるか、欠落エッジを無視するのを避けること。
• グラフ修復と下流のノード分類を同時に最適化する微分可能でエンド・トゥ・エンドのフレームワークを構築すること。
• GRCNとマルチグラフ信念伝播の理論的関係を示し、その概念的および実用的利点を裏付けること。
• 極度のスパarsityや不完全性が見られるベンチマークデータセットにおいて、GRCNの優位性を実証的に検証すること。

提案手法

• ノード埋め込みと信頼度スコアを用いて、欠落エッジの予測とエッジ重みの再調整を実行する、GCNベースのグラフ修復モジュールを導入する。
• 元のグラフと新たに予測されたエッジを組み合わせることで、修正された隣接行列を構築し、勾配ベースの最適化を可能にする。
• 各訓練イテレーションにおいて、高信頼度エッジを微分可能かつトップ-k選択により追加するメカニズムを採用する。
• グラフ修復とノード分類の共同最適化を実行し、エンド・トゥ・エンドの学習を可能にする。
• 理論的分析により、GRCNがマルチグラフ信念伝播と同等であることが示され、ノード間の複数のエッジ源を効果的に処理できることが裏付けられる。
• エッジ予測をガイドするため、学習可能な類似度関数を用いてノード特徴量とグラフ構造の両方を活用する。

実験結果

リサーチクエスチョン

• RQ1 微分可能でスケーラブルなグラフ修復メカニズムは、不完全でノイズを含むグラフにおいてGCNの性能を向上させることができるか？
• RQ2 グラフ修復とノード分類の共同最適化は、分離的またはヒューリスティックな手法と比較してどのように異なるか？
• RQ3 GRCNとマルチグラフ信念伝播の理論的関係は何か？
• RQ4 GRCNは極度のデータスパarsityや高いグラフ不完全性の下でも、強固な性能を維持できるか？
• RQ5 グラフ修復モジュールの各構成要素（例：特徴量学習、グラフ伝搬）は、全体の性能にどのように寄与しているか？

主な発見

• GRCNは、多様な分野にまたがる6つのベンチマークデータセットにおいて、最先端または非常に競争力のある性能を達成した。
• 元のグラフが著しく不完全であるか、ラベルデータがスパースな場合に、ベースラインを顕著に上回った。
• アブレーションスタディの結果、特徴量学習とグラフ伝搬が極めて重要であり、GRCNに類似したRWFGバージョンが、SVD や FO といった単純な手法を上回った。
• エッジ保持率が低下するほど、GRCNとそのアブレーションバージョンとの性能差が拡大する傾向にあり、スパarsity下での強健性が確認された。
• 理論的分析により、GRCNのメカニズムがマルチグラフ信念伝播と整合することが確認され、その設計に原理的根拠が与えられた。
• エンド・トゥ・エンドの微分可能学習により、モデルパラメータを二次的に増加させることなく、欠落エッジの学習が効果的に行えるようになった。