[論文レビュー] Graph Optimized Convolutional Networks.

Bo Jiang, Ziyan Zhang+2 more|arXiv (Cornell University)|Apr 26, 2019

Advanced Graph Neural Networks参考文献 38被引用数 8

ひとこと要約

本稿では、グラフ最適化とグラフ畳み込みを統合したフレームワークとして、Graph Optimized Convolutional Networks (GOCN) と Multiple GOCN (M-GOCN) を提案する。グラフ構造と特徴学習を共同で最適化することで、単一および複数のグラフデータにおいて性能が向上し、固定グラフを用いるGCNよりも優れた結果を示す。

ABSTRACT

Graph Convolutional Networks (GCNs) have been widely studied for graph data representation and learning tasks. Existing GCNs generally use a fixed single graph which may lead to weak suboptimal for data representation/learning and are also hard to deal with multiple graphs. To address these issues, we propose a novel Graph Optimized Convolutional Network (GOCN) for graph data representation and learning. Our GOCN is motivated based on our re-interpretation of graph convolution from a regularization/optimization framework. The core idea of GOCN is to formulate graph optimization and graph convolutional representation into a unified framework and thus conducts both of them cooperatively to boost their respective performance in GCN learning scheme. Moreover, based on the proposed unified graph optimization-convolution framework, we propose a novel Multiple Graph Optimized Convolutional Network (M-GOCN) to naturally address the data with multiple graphs. Experimental results demonstrate the effectiveness and benefit of the proposed GOCN and M-GOCN.

研究の動機と目的

• 既存のグラフ畳み込みネットワーク（GCNs）における固定された単一グラフの制限を解消し、最適でない表現を回避すること。
• グラフ構造とグラフ畳み込みの両方を共同で最適化する統合フレームワークを構築し、学習性能を向上させること。
• 提案されたMultiple GOCN（M-GOCN）アーキテクチャにより、複数のグラフを自然に処理できるようにフレームワークを拡張すること。
• 正則化/最適化に基づくグラフ畳み込みの再解釈により、従来のGCNにおける弱い表現力と一般化性能の低さを克服すること。

提案手法

• 正則化/最適化フレームワークを用いてグラフ畳み込みを再解釈し、グラフ構造学習と特徴表現の統合を実現する。
• グラフ最適化とグラフ畳み込みを連合最適化問題として定式化し、相互に強化する仕組みを構築する。
• 学習中に隣接行列を更新できる微分可能グラフ最適化モジュールを導入し、表現品質の向上を図る。
• 複数のグラフを同時に学習できるように、統合フレームワークを拡張してM-GOCNを設計する。
• グラフ構造学習とノード表現学習の両方をバランスさせる統一された目的関数を活用する。
• 最適化理論を活用し、連合フレームワークのエンドツーエンド学習における収束性と安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 固定グラフアプローチと比較して、グラフ構造と特徴学習の共同最適化がGCNにおける表現品質の向上に寄与するか？
• RQ2 提案された統合フレームワークは、単一グラフにおけるグラフ学習タスクの性能をどのように向上させるか？
• RQ3 この統合フレームワークは、複数のグラフを効果的に処理できるようにどの程度拡張可能か？
• RQ4 最適化に基づくグラフ畳み込みの再解釈は、よりロバストで一般化可能な表現をもたらすか？
• RQ5 ベンチマークデータセットにおける精度と一般化性能の観点から、GOCNは既存のGCN変種と比較してどのように差をつけるか？

主な発見

• GOCNは、グラフ構造と表現学習の共同最適化により、標準的なグラフベンチマークデータセットで優れた性能を達成する。
• 統合フレームワークにより、固定グラフを用いるGCNと比較して、より優れた一般化性能とロバスト性が実現される。
• M-GOCNは複数のグラフを効果的に処理でき、マルチグラフ学習タスクの性能向上に寄与する。
• 提案手法は複数のデータセットにおいて一貫した改善を示しており、強力な一般化能力を有することが確認された。
• アブレーションスタディの結果、グラフと特徴学習の共同最適化が、逐次的または別個の最適化よりも効果的であることが裏付けられた。