[論文レビュー] Graph Cross Networks with Vertex Infomax Pooling

Maosen Li, Siheng Chen+2 more|arXiv (Cornell University)|Oct 5, 2020

Advanced Graph Neural Networks参考文献 54被引用数 4

ひとこと要約

本稿では、トレーニング可能な頂点情報最大化プーリング（VIPool）機構とクロス形状の特徴クロス層を備えた、グラフニューラルネットワークの新規アーキテクチャであるグラフクロスネットワーク（GXN）を提案する。VIPoolは、頂点と近隣特徴の間の相互情報量を最大化することで、情報量の多い頂点を選択する。一方、特徴クロス層はスケール間での情報伝達を強化し、グラフ分類で平均2.12%、頂点分類で1.15%のスコア向上を達成し、最先端の性能を実現する。

ABSTRACT

We propose a novel graph cross network (GXN) to achieve comprehensive feature learning from multiple scales of a graph. Based on trainable hierarchical representations of a graph, GXN enables the interchange of intermediate features across scales to promote information flow. Two key ingredients of GXN include a novel vertex infomax pooling (VIPool), which creates multiscale graphs in a trainable manner, and a novel feature-crossing layer, enabling feature interchange across scales. The proposed VIPool selects the most informative subset of vertices based on the neural estimation of mutual information between vertex features and neighborhood features. The intuition behind is that a vertex is informative when it can maximally reflect its neighboring information. The proposed feature-crossing layer fuses intermediate features between two scales for mutual enhancement by improving information flow and enriching multiscale features at hidden layers. The cross shape of the feature-crossing layer distinguishes GXN from many other multiscale architectures. Experimental results show that the proposed GXN improves the classification accuracy by 2.12% and 1.15% on average for graph classification and vertex classification, respectively. Based on the same network, the proposed VIPool consistently outperforms other graph-pooling methods.

研究の動機と目的

• 既存のGNNにおける固定スケール特徴学習の制限を解消し、局所的またはグローバルなグラフ構造を無視する可能性を低減すること。
• 情報理論的プールメカニズムをトレーニング可能に設計することで、複数スケール間での効果的な情報伝達を実現すること。
• 最終層での結合にとどまらず、複数スケール間の中間特徴を統合する新規アーキテクチャの開発。
• 頂点グループ化やグローバル選択手法の制限を克服し、スケール間で直接的な頂点対応を可能にすること。
• マルチスケール特徴強化により、グラフ分類および頂点分類タスクで優れた性能を達成すること。

提案手法

• 頂点特徴とその近隣特徴の間の相互情報量のニューラル推定に基づき、相互情報量を最大化することで頂点を選択する、微分可能なグラフプール手法「Vertex Infomax Pooling（VIPool）」を提案する。
• 相互情報量の目的関数を用いて、局所的グラフ構造を最もよく表現する頂点を特定し、情報量が多く構造的な粗縮小を保証する。
• 隣接スケール間での双方向的特徴交換を可能にするクロス形状の特徴クロス層を導入する。
• 複数の並列スケールを持つピラミッド構造のGXNアーキテクチャを採用し、各スケールでグラフ畳み込み層を用いてグラフ特徴を処理する。
• VIPoolを用いてグラフプールとアンプールをサポートし、スケール間の直接的な頂点対応を実現し、エンドツーエンドの学習を可能にする。
• エッジ削除、Kron低減、クラスタ接続の3つのグラフ構造プール変種を評価し、クラスタ接続が精度と効率のバランスにおいて最良の性能を示した。

実験結果

リサーチクエスチョン

• RQ1 頂点と近隣特徴の間の相互情報量を最大化するトレーニング可能なグラフプールメカニズムは、マルチスケールグラフ表現学習を向上させることができるか？
• RQ2 複数スケール間での中間特徴クロスは、GNNにおける遅延結合やスキップ接続と比較して、性能を向上させるか？
• RQ3 提案されたGXNアーキテクチャは、既存のマルチスケールGNNと比較して、グラフ分類および頂点分類タスクにおける精度と効率の面で優れているか？
• RQ4 異なるグラフ構造プール操作（例：エッジ削除、Kron低減、クラスタ接続）は、モデルの性能と学習時間にどのような影響を与えるか？
• RQ5 VIPoolにおける頂点選択率が、多様なグラフデータセットにおいてモデルの精度とロバストネスに及ぼす影響はどの程度か？

主な発見

• GXNは、最先端の手法と比較して、グラフ分類で平均2.12%、頂点分類で1.15%の精度向上を達成した。
• VIPoolは、CoraやIMDB-Bを含む複数のデータセットで、情報理論的頂点選択の利点を活かして、他のグラフプール手法を常に上回った。
• グラフ構造プールの変種としてのクラスタ接続は、精度と計算効率のバランスが最良であり、エッジ削除やKron低減を上回った。
• 実験では、スケール間の中間特徴クロスが性能向上に顕著に寄与しており、より多くの層がクロス統合に参加するほど、より高い向上率が得られた。
• 60%未満の頂点を選択する状況では、VIPoolの貪欲な頂点選択アルゴリズムがTop-K法よりも顕著に高い相互情報量（C値）を達成し、優れた選択品質を示した。
• 本モデルは、異なる種類のグラフにおいても強力な性能を維持し、学術的およびソーシャルネットワークデータセットの両方で一貫した向上が観察された。