[論文レビュー] Fusion Graph Convolutional Networks

Priyesh Vijayan, Yash Chandak+3 more|arXiv (Cornell University)|May 31, 2018

Advanced Graph Neural Networks参考文献 25被引用数 5

ひとこと要約

本稿では、二項基底を用いて複数ホップの近隣情報の独立した制御を可能にする、シンプルでありながら効果的な統合層F-GCNを提案する。Kホップ表現を二項係数の重み付き組み合わせとしてモデル化することで、F-GCNはノード分類性能を顕著に向上させ、8つのベンチマークデータセットのうち6つで最先端のモデルを上回り、残りの2つについても競争力を持つ。

ABSTRACT

Semi-supervised node classification in attributed graphs, i.e., graphs with node features, involves learning to classify unlabeled nodes given a partially labeled graph. Label predictions are made by jointly modeling the node and its' neighborhood features. State-of-the-art models for node classification on such attributed graphs use differentiable recursive functions that enable aggregation and filtering of neighborhood information from multiple hops. In this work, we analyze the representation capacity of these models to regulate information from multiple hops independently. From our analysis, we conclude that these models despite being powerful, have limited representation capacity to capture multi-hop neighborhood information effectively. Further, we also propose a mathematically motivated, yet simple extension to existing graph convolutional networks (GCNs) which has improved representation capacity. We extensively evaluate the proposed model, F-GCN on eight popular datasets from different domains. F-GCN outperforms the state-of-the-art models for semi-supervised learning on six datasets while being extremely competitive on the other two.

研究の動機と目的

• 既存のGCNが複数ホップの近隣情報の効果的捕捉と制御に制限された表現能力を示していることの特定と分析。
• 現在のGCNがKホップ情報をK次多項式としてモデル化しているという制限の解消、これにより異なるホップからの情報の選択的結合が制限されること。
• GCNにおける複数ホップからの情報の独立的制御を可能にする、最小限でありながら強力な統合コンponentの提案。
• 提案されたF-GCNモデルの優位性を、多様な属性付きグラフデータセット上で実証的に検証すること。
• 統合機構が線形活性化関数にとどまらず、ReLUベースのGCNに対しても性能向上をもたらすことを示すこと。

提案手法

• Kホップ近隣表現を、それぞれが特定のホップ数に対応する二項基底関数の線形結合としてモデル化する。
• 各GCN層が異なるホップに対応する表現の重み付き組み合わせを計算する、学習可能な統合層を導入する。
• 統合層は複数のGCN層の出力を線形変換により結合し、関連するホップに重点を置く選択的強調を可能にする。
• 標準的な交差エントロピー損失を用いてエンドツーエンドで訓練し、統合層をGCN重みと共に同時に最適化する。
• 従来のトランスダクティブ（GCN）およびインダクティブ（GraphSAGE）設定と両立可能であり、任意のGCNベースアーキテクチャに適用可能。
• 二項基底構造により、任意の所望の複数ホップ情報の組み合わせを表現可能となり、表現力が向上する。

実験結果

リサーチクエスチョン

• RQ1 既存のGCNモデルは、複数ホップからの情報を独立して制御・統合できるか？
• RQ2 複数ホップ近隣情報を二項基底としてモデル化することで、表現能力と分類性能が向上するか？
• RQ3 提案された統合層は、GraphSAGE や GCN といった最先端モデルと比較して、半教師付きノード分類でどのように性能を発揮するか？
• RQ4 統合機構は線形GCNにとどまらず、特にReLU活性化関数を用いた場合に、どの程度一般化可能か？
• RQ5 関係性のパターンがホップごとに異なるデータセットにおいて、統合コンponentは性能向上をもたらすか？

主な発見

• F-GCNは8つのベンチマークデータセットのうち6つで最先端のモデルを上回り、ノード分類精度において一貫した向上を示した。
• アマゾン共同購入ネットワークでは、ノードのみのベースラインから10パcentポイントの改善を達成し、複数ホップの関係構造を効果的に活用できる能力を示した。
• ヒトのタンパク質間相互作用データセットでは、平均ノード次数が高くても、高次近隣情報からの大きな性能向上を達成した。
• アマゾンデータセットでは、GraphSAGEの柔軟で共有されない集約関数を用いても、F-GCNは約6%の性能向上を達成した。
• すべてのデータセットにおいて、最良モデルとの平均性能差がたった0.241%にまで縮小され、高い一貫性と頑健性を示した。
• ReLU活性化関数を用いても、統合機構が顕著な向上をもたらしたため、線形解析からの知見が非線形設定へも効果的に一般化されることを示した。