[論文レビュー] Geom-GCN: Geometric Graph Convolutional Networks

Hongbin Pei, Bingzhe Wei+3 more|arXiv (Cornell University)|Feb 13, 2020

Advanced Graph Neural Networks参考文献 30被引用数 117

ひとこと要約

Geom-GCNは、グラフを潜在空間に写像して構造的近傍を構築し、長距離依存性を捉える幾何的集約方式を導入し、複数のグラフベンチマークで最先端の結果を達成します。

ABSTRACT

Message-passing neural networks (MPNNs) have been successfully applied to representation learning on graphs in a variety of real-world applications. However, two fundamental weaknesses of MPNNs' aggregators limit their ability to represent graph-structured data: losing the structural information of nodes in neighborhoods and lacking the ability to capture long-range dependencies in disassortative graphs. Few studies have noticed the weaknesses from different perspectives. From the observations on classical neural network and network geometry, we propose a novel geometric aggregation scheme for graph neural networks to overcome the two weaknesses. The behind basic idea is the aggregation on a graph can benefit from a continuous space underlying the graph. The proposed aggregation scheme is permutation-invariant and consists of three modules, node embedding, structural neighborhood, and bi-level aggregation. We also present an implementation of the scheme in graph convolutional networks, termed Geom-GCN (Geometric Graph Convolutional Networks), to perform transductive learning on graphs. Experimental results show the proposed Geom-GCN achieved state-of-the-art performance on a wide range of open datasets of graphs. Code is available at https://github.com/graphdml-uiuc-jlu/geom-gcn.

研究の動機と目的

• 伝統的な MPNN の2つのコアな弱点を解決する: ノード近傍の構造情報の喪失と、離散グラフにおける長距離依存性の捉えにくさ。
• グラフ空間と潜在空間の両方で動作する幾何的集約スキームを提案する。
• 具体的な実装 (Geom-GCN) を提供し、さまざまなグラフデータセットで検証する。
• グラフ空間と潜在空間の近傍の寄与を理解するためのアブレーションを分析する。
• 異なるグラフトポロジーに合わせてGeom-GCNを調整するための埋め込み選択肢（Isomap、Poincare、struc2vec）を検討する。

提案手法

• ノードを潜在空間へ写像する3モジュールの幾何的集約スキームを導入する: ノード埋め込み、グラフ空間と潜在空間で定義される構造的近傍、ノード特徴を更新するための二段階の集約。
• N_g(v)をグラフ隣接、N_s(v)を半径ρ内の潜在空間隣接として定義し、長距離の類似性を捉える。
• 潜在空間の位置に対して幾何的関係 r を割り当てるための関係演算子 τ を用い、τは空間を有限集合 R に分割する。
• 低レベルの集約 p をサブ近傍( i,r )、高レベルの集約 q を仮想ノード( i,r )に対して適用し、h_v^{l+1}を生成することで置換不変性を確保する。
• 埋め込み方式を選択することでGeom-GCN-I、Geom-GCN-P、Geom-GCN-Sを得ることでGeom-GCNをインスタンス化する; τを2Dユークリッド空間や双曲空間で実装する; pを置換不変な和として、qを連結として最後の層で平均化する。
• 転写性ノード分類を用いて、2層のGCN風アーキテクチャで実証し、GCNおよびGATと比較する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間の幾何学をどのように活用して、グラフ畳み込み中の近傍の構造情報を保持できるか。
• RQ2 潜在空間の近傍は、離散的なグラフ近傍よりも、離れたノード間の長距離依存性をより効果的に捉えられるのか。
• RQ3 Isomap、Poincare、struc2vec などの異なる埋め込み空間が、さまざまなグラフトポロジーに対してGeom-GCNの性能にどのような影響を与えるのか。
• RQ4 グラフ空間と潜在空間の双方の近傍を組み合わせることは、単一近傍の変種より一貫した改善をもたらすのか。
• RQ5 大規模なグラフに対して幾何的集約を用いる際のモデルの複雑さと性能のトレードオフはどうなるのか。

主な発見

• Geom-GCNは、GCNおよびGATと比較して、広範なオープングラフデータセットで最先端の性能を達成。
• Geom-GCN-Pバリアント（Poincare埋め込み）は、階層構造を持つグラフで特に強力な結果をもたらすことが多く、埋め込みの選択が性能に大きく影響する。
• IsomapベースのGeom-GCN-Iは距離パターンの保持によってすでに性能を向上させ、潜在空間近傍を組み合わせるといくつかのデータセットで結果が改善される。
• アブレーション研究は、グラフ近傍と潜在空間近傍の両方が寄与する場合がある一方で、単一近傍の変種が2近傍変種よりも優れるケースもあり、将来的には近傍間の注意機構の利点が示唆される。
• 潜在空間の近傍は、特に離散グラフで長距離依存を捉えるのに寄与し、構造的に類似しつつも距離が離れたノードのメッセージを集約することで効果を発揮する。