[論文レビュー] Uplifting Message Passing Neural Network with Graph Original Information

Xiao Liu, Lijun Zhang+1 more|arXiv (Cornell University)|Oct 8, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、適応的統合を通じてエゴノード特徴量、集約された近隣特徴量、グラフ構造特徴量を同時に活用することで、メッセージパッシングニューラルネットワーク（MPNN）の性能を向上させる新規のグラフニューラルネットワークであるINGNNを提案する。理論的に表現力の向上を証明し、実験的に最先端の性能を示した結果、GCN や LINKX などのベースラインと比較して平均順位 1.78 を達成し、最大 8.57% の精度向上を実現した。

ABSTRACT

Message passing neural networks (MPNNs) learn the representation of graph-structured data based on graph original information, including node features and graph structures, and have shown astonishing improvement in node classification tasks. However, the expressive power of MPNNs is upper bounded by the first-order Weisfeiler-Leman test and its accuracy still has room for improvement. This work studies how to improve MPNNs' expressiveness and generalizability by fully exploiting graph original information both theoretically and empirically. It further proposes a new GNN model called INGNN (INformation-enhanced Graph Neural Network) that leverages the insights to improve node classification performance. Extensive experiments on both synthetic and real datasets demonstrate the superiority (average rank 1.78) of our INGNN compared with state-of-the-art methods.

研究の動機と目的

• MPNNの表現力に制限があること、特に1-WL同型性テストによって制限され、特定の非同型グラフを区別できないこと。
• 手作業で設計された特徴量に依存する既存手法の限界を克服し、MPNNの自動学習の前提に反する誘導バイアスを回避すること。
• ノード数に対して線形スケーラビリティを維持しつつ、モデルの表現力と汎化能力を向上させること。
• ノード特徴量とグラフ構造というグラフのオリジナル情報が、手動の特徴工学を用いずに完全に活用可能かどうかを調査すること。
• 複数種類のグラフ特徴量を適応的に統合する統一フレームワークを構築し、ノード表現学習を強化すること。

提案手法

• エゴノード特徴量（ノード属性）、集約された近隣特徴量（メッセージパッシングによる表現）、グラフ構造特徴量（隣接行列からのトポロジカル情報）の3種類のグラフオリジナル情報統合を実現するGNNモデルINGNNを提案。
• 3種類の特徴量に対する適応的統合重みを学習する二段階最適化フレームワークを導入し、学習中に動的 Importance の割り当てを可能にする。
• バイレベル学習手順により最適化される、学習可能なアテンション型重みを用いて特徴量統合プロセスを定式化し、異なる特徴量タイプの寄与をバランスさせる。
• k-WLに基づくアプローチとは異なり、高次テンソル演算を避けることで、線形スケーラビリティを維持し、大規模グラフへの適用可能性を確保。
• ノード表現が、生のノード特徴量、近隣集約、構造符号化の組み合わせを用いて更新されるメッセージパッシングフレームワーク内に統合メカニズムを適用。
• マルチヘッドアテンション機構を用いて適応的統合重みを計算し、グラフの性質や同型性の度合いに応じて関連する特徴量を動的に強調可能にする。

実験結果

リサーチクエスチョン

• RQ1 手作業で設計された特徴量に依存せずに、エゴノード特徴量、集約された近隣特徴量、グラフ構造特徴量といったグラフオリジナル情報の完全な活用によって、MPNNの表現力を向上させられるか？
• RQ2 グラフ構造特徴量を統合することで、MPNNの表現力が1-WLの表現力限界を超えるか？ また、3-WLと比較して非同型グラフを区別する能力はどのように変化するか？
• RQ3 エゴノード特徴量は、特に低同型性グラフにおいて、ノード誤分類率を独立に低下させることができるか？
• RQ4 3種類の特徴量が、同型性レベルが異なるグラフにおいて、性能にどの程度寄与しているか、またその相対的な重要度はどのように変化するか？
• RQ5 提案された適応的統合メカニズムを、GCN や LINKX、H2GCN といった既存のMPNNにプラグイン形式で追加した場合、精度が顕著に向上するか？

主な発見

• INGNNは9つの実世界データセットで平均順位 1.78 を達成し、12種類の最先端GNNベースラインを上回った。
• 実データセット上では、GCN に対して平均 4.17%、MIXHOP に対して 4.01%、GPR-GNN に対して 3.43% の精度向上を達成した。
• アブレーションスタディにより、エゴノード、集約された近隣、グラフ構造の3つの特徴量すべてが性能向上に顕著に寄与しており、特に低〜中程度の同型性を持つグラフではグラフ構造特徴量が最も重要であることが確認された。
• 特徴量重要度分析の結果、同型性の高いグラフ（例：Cora や PubMed）では集約された近隣特徴量が支配的である一方、低同型性グラフ（例：arXiv-year や twitch-gamer）ではグラフ構造特徴量の影響が最も顕著であった。
• GCN や LINKX、H2GCN といった既存モデルに、同定された3つの特徴量を追加したところ、平均で 0.40% から 8.57% の精度向上が得られ、特にGCNで最大 8.57% の向上が観察された。
• 理論的分析により、INGNNの表現力は1-WLを上回り、3-WLと同等以上であることが証明された。また、エゴノード特徴量が特定の状況下で誤分類率を低下させることも確認され、モデルの理論的基盤が裏付けられた。