[論文レビュー] Elastic Graph Neural Networks

Xiaorui Liu, Wei Jin+6 more|arXiv (Cornell University)|Jul 5, 2021

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、局所的スムージングの適応性を向上させるためにℓ₁およびℓ₂ベースのグラフスムージングを統合する、Elastic GNNs（Elastic GNN）と呼ばれる新しいGNNファミリーを提案する。Elastic Message Passing（EMP）と呼ばれる新たなメッセージパッシングスキームを導出することで、理論的収束性が保証され、敵対的攻撃に対しても優れた耐性を示す。この手法は、ベンチマークとしての半教師付き学習タスクにおいて、標準的なℓ₂ベースのGNNを上回る性能を発揮する。

ABSTRACT

While many existing graph neural networks (GNNs) have been proven to perform $\ell_2$-based graph smoothing that enforces smoothness globally, in this work we aim to further enhance the local smoothness adaptivity of GNNs via $\ell_1$-based graph smoothing. As a result, we introduce a family of GNNs (Elastic GNNs) based on $\ell_1$ and $\ell_2$-based graph smoothing. In particular, we propose a novel and general message passing scheme into GNNs. This message passing algorithm is not only friendly to back-propagation training but also achieves the desired smoothing properties with a theoretical convergence guarantee. Experiments on semi-supervised learning tasks demonstrate that the proposed Elastic GNNs obtain better adaptivity on benchmark datasets and are significantly robust to graph adversarial attacks. The implementation of Elastic GNNs is available at \url{https://github.com/lxiaorui/ElasticGNN}.

研究の動機と目的

• 既存のGNNがℓ₂ベースのグラフスムージングによりグローバルかつ一様なスムージングを強制するという限界に対処すること。
• ℓ₁ベースのグラフスムージングを組み込むことで、不連続性をより良く保存し、区分的多項式信号推定を支援する局所的スムージングの適応性を向上させること。
• バックプロパゲーションと整合性を持ち、深層GNNにスケーラブルなメッセージパッシングスキームを設計すること。
• これまでのグラフ全変動およびトレンドフィルタリング手法でしばしば無視されがちな、異なるノード次数に対応する適切な正規化を確保すること。
• ℓ₁およびℓ₂スムージングが補完的であることを示し、より多様性があり耐性のあるGNNアーキテクチャを構築すること。

提案手法

• ℓ₂およびℓ₁ノルムを組み合わせた新しいグラフ信号ノイズ除去定式化を提案：min_F ||F - X_in||_F² + λ₁·||ΔF||₁ + λ₂·tr(FᵀLF)、ここでΔFはノード間の差を捉える。
• 滑らかでない、結合された目的関数を効率的に解くための最適化ソルバを用いて、新たなメッセージパッシングスキームであるElastic Message Passing（EMP）を導出する。
• 最適化問題を解くために前向き後ろ向き分割法（forward-backward splitting algorithm）を採用し、収束性とバックプロパゲーションとの整合性を保証する。
• 異なるノード次数に対応する正規化ステップを導入し、安定性および一般化性能を向上させる。
• EMPを深層ニューラルネットワークに統合してElastic GNNを構築し、エンドツーエンド学習を可能にする。
• グローバルスムージングと局所的適応性の両方を促進するため、ℓ₂およびℓ₁正則化を組み合わせたハイブリッド損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 標準的なℓ₂ベースのスムージングと比較して、ℓ₁ベースのグラフスムージングはGNNにおける局所的スムージングの適応性を向上させるか？
• RQ2 ℓ₁正則化付きのグラフスムージングに基づくメッセージパッシングスキームは、バックプロパゲーションおよびディープラーニングと両立可能か？
• RQ3 ℓ₁およびℓ₂正則化の統合は、グラフ敵対的攻撃に対する耐性にどのように影響するか？
• RQ4 プロパゲーションステップ数が、提案されたメッセージパッシングスキームの性能および収束に与える影響は何か？
• RQ5 提案手法は、意図したようにエッジに沿ったノード差分のスパarsityを達成するか、つまり区分的定数信号挙動を示すか？

主な発見

• Elastic GNNは、Cora、CiteSeer、PubMedといった半教師付きノード分類ベンチマークにおいて、APPNPのようなℓ₂ベースのGNNと比較して顕著に優れた性能を発揮する。
• 敵対的攻撃に対して優れた耐性を示し、摂動下でも高い精度を維持する。
• Elastic GNNにおけるノード差分のスパarsity比は、Coraで37%、CiteSeerで74%、PubMedで42%に達し、強い区分的定数信号挙動を示している。
• Coraにおいて、誤ったエッジと正しいエッジに沿ったノード差分の平均比は、APPNPの1.57からElastic GNNの2.03に上昇し、特徴の分離が向上したことが示された。
• EMP最適化プロセスにおいて、順方向伝搬中に目的関数値が単調に減少しており、定理1が保証する収束性が確認された。
• 少数のプロパゲーションステップ（K）で十分な性能が達成されるため、計算コストが低く、効率的な表現学習が可能であることが示された。