[論文レビュー] Graph Neural Networks Inspired by Classical Iterative Algorithms

Yongyi Yang, Tang Liu+7 more|arXiv (Cornell University)|Mar 10, 2021

Advanced Graph Neural Networks参考文献 59被引用数 13

ひとこと要約

本稿では、メッセージパッシングGNNとプロキシマル勾配降下法、反復加重最小二乗法（IRLS）を統合することで、頑健で透明性の高いアーキテクチャを実現する新規のグラフニューラルネットワークフレームワークTWIRLSを提案する。古典的な反復的アルゴリズムをGNN層に展開することにより、過剰平滑化に強く、長距離依存関係を扱い、エッジの不確実性に対しても性能を維持する。敵対的攻撃、非同型性、長距離依存関係を伴うグラフにおいて、最先端（SOTA）モデルを上回る性能を発揮する。

ABSTRACT

Despite the recent success of graph neural networks (GNN), common architectures often exhibit significant limitations, including sensitivity to oversmoothing, long-range dependencies, and spurious edges, e.g., as can occur as a result of graph heterophily or adversarial attacks. To at least partially address these issues within a simple transparent framework, we consider a new family of GNN layers designed to mimic and integrate the update rules of two classical iterative algorithms, namely, proximal gradient descent and iterative reweighted least squares (IRLS). The former defines an extensible base GNN architecture that is immune to oversmoothing while nonetheless capturing long-range dependencies by allowing arbitrary propagation steps. In contrast, the latter produces a novel attention mechanism that is explicitly anchored to an underlying end-to-end energy function, contributing stability with respect to edge uncertainty. When combined we obtain an extremely simple yet robust model that we evaluate across disparate scenarios including standardized benchmarks, adversarially-perturbated graphs, graphs with heterophily, and graphs involving long-range dependencies. In doing so, we compare against SOTA GNN approaches that have been explicitly designed for the respective task, achieving competitive or superior node classification accuracy. Our code is available at https://github.com/FFTYYY/TWIRLS.

研究の動機と目的

• メッセージパッシングGNNの主な限界、すなわち過剰平滑化、不自然なエッジへの感受性、非同型性または敵対的攻撃下での性能劣化を解消すること。
• 古典的な反復的最適化アルゴリズムに基づく、透明性と原理的整合性を持つGNNアーキテクチャの開発により、解釈可能性と一般化性能の向上を図ること。
• エネルギーに基づく最適化を用いて伝搬とアテンションメカニズムを統合し、理論的保証を伴う一貫した設計を実現すること。
• 標準ベンチマーク、敵対的摂動、非同型性、長距離依存関係を含む多様なグラフ状況において、タスク固有のアーキテクチャチューニングなしで、競争的または優れた性能を達成すること。

提案手法

• プロキシマル勾配降下法の反復をGNNバックボーンに展開し、グラフ正則化エネルギー関数を用いることで、過剰平滑化を回避しつつ、任意の伝搬ステップを実現する。
• IRLSに基づくアテンションをGNN層に統合し、アテンション重みは原理的エネルギー関数を最小化する再重み付け関数から導出する。
• データ適合性とグラフの滑らかさの両方をバランスさせる統一された目的関数にアーキテクチャ全体を固定することで、エッジの不確実性下でも安定性を確保する。
• 各層が最適化アルゴリズムの1反復に対応する、単一でエンドツーエンド微分可能なフレームワークを採用し、透明性とスケーラビリティを兼ね備えた学習を可能にする。
• IRLSフレームワークを活用することで、追加のパラメータやヒューリスティクスを必要とせず、エッジ摂動に対して inherently 頑健なアテンションメカニズムを実現する。
• プロキシマルGNNバックボーンとIRLSアテンションを統合し、多様なグラフ環境で性能を維持する統一モデルTWIRLSを構築する。

実験結果

リサーチクエスチョン

• RQ1 古典的な反復的最適化アルゴリズムから導出されたGNNアーキテクチャは、長距離依存関係を捉えることができる一方で、過剰平滑化に対して頑健であると言えるか？
• RQ2 GNNにIRLSベースのアテンションを統合することで、エッジの不確実性や敵対的摂動下での頑健性がどのように向上するか？
• RQ3 一貫性のあるエネルギー関数を用いて、伝搬とアテンションを統合する場合、性能を損なうことなくどの程度統合が可能か？
• RQ4 展開された反復的アルゴリズムに基づくGNNモデルは、敵対的攻撃に特化したSOTAモデルや非同型性に特化したモデルを上回る性能を発揮するか？
• RQ5 最適化に基づく透明なGNN設計は、タスク固有のアーキテクチャ変更なしに、多様なグラフ状況に一般化できるか？

主な発見

• 敵対的攻撃（20％のエッジ摂動）下で、Coraでは70.23％、Citeseerでは70.63％の精度を達成し、GNNGuard や GNN-SVD といったSOTA防御手法を上回る。
• 非同型性グラフ（例：Actor, Cornell, Texas, Wisconsin）において、4つのデータセットのうち3つでSOTA精度を達成。GCN、GAT、H₂GCN よりも一貫して優れた性能を発揮。
• Amazon Co-Purchaseデータセットでは、SSE や IGNN といった長距離特化モデルを上回り、任意の伝搬深さにおいて安定した性能を示す。
• IRLSベースのアテンションメカニズムは、ベースモデルのTWIRLSに比べて、特に低同型性および敵対的状況下で顕著な性能向上をもたらす。
• 多数の伝搬層を用いても高い精度を維持しており、プロキシマル勾配降下法バックボーンのおかげで過剰平滑化に免疫であることを確認。
• 提案フレームワークは多様なグラフ環境にうまく一般化し、各シナリオごとのアーキテクチャチューニングなしに、競争的または優れた結果を達成する。