[論文レビュー] On the Robustness of Graph Neural Diffusion to Topology Perturbations

Yang Song, Qiyu Kang+3 more|arXiv (Cornell University)|Sep 16, 2022

Model Reduction and Neural Networks被引用数 13

ひとこと要約

本稿では、連続的拡散過程に基づく一般化されたグラフニューラルPDEフレームワークを提案し、グラフニューラルPDEが標準的なGNNと比較してトポロジーの摂動に対して本質的により頑健であることを示している。グラフのメトリクス摂動に対してヒート半群の安定性を活用することで、ベンチマークデータセット上で頑健な性能を達成しており、理論的および実験的証拠により、敵対的エッジおよびノード攻撃に対しても耐性があることが裏付けられている。

ABSTRACT

Neural diffusion on graphs is a novel class of graph neural networks that has attracted increasing attention recently. The capability of graph neural partial differential equations (PDEs) in addressing common hurdles of graph neural networks (GNNs), such as the problems of over-smoothing and bottlenecks, has been investigated but not their robustness to adversarial attacks. In this work, we explore the robustness properties of graph neural PDEs. We empirically demonstrate that graph neural PDEs are intrinsically more robust against topology perturbation as compared to other GNNs. We provide insights into this phenomenon by exploiting the stability of the heat semigroup under graph topology perturbations. We discuss various graph diffusion operators and relate them to existing graph neural PDEs. Furthermore, we propose a general graph neural PDE framework based on which a new class of robust GNNs can be defined. We verify that the new model achieves comparable state-of-the-art performance on several benchmark datasets.

研究の動機と目的

• 標準的なGNNの主要な脆弱性である敵対的トポロジー摂動に対するグラフニューラルPDEの頑健性を調査すること。
• 微小なグラフトポロジー変更の下でのグラフ拡散過程の安定性に関する理論的基盤を確立すること。
• 新しい頑健なGNNアーキテクチャの設計を可能にする一般化されたPDEベースのフレームワークを構築すること。
• 提案されたモデルが、敵対的攻撃に対しても耐性を保ちながら、最先端の性能を達成していることを検証すること。

提案手法

• 本稿では、リーマン多様体上の熱拡散に類似した方法で、グラフ上の連続的拡散プロセスを定式化している。
• グラフラプラシアンの微小摂動の下でのヒート半群の理論的安定性を確立し、これによりトポロジー変更に対する頑健性と関連づけている。
• フレームワークは、ヒートフローをエッジを保存する流れ、例えば平均曲率フローおよびベルトラミフローに一般化しており、拡散中に構造的整合性を維持する。
• これらの一般化されたフローから、より安定的かつ頑健なメッセージスティンングを可能にする、新しいクラスのグラフニューラルPDEが導出されている。
• 動的グラフ摂動のモデル化とシステム感度の分析に、時間変動型および時間不変型のラプラシアン作用素が用いられている。
• 標準的なベンチマークデータセットを用いた実験的検証により、既存のGNNおよび防御手法と比較しての頑健性と性能が評価されている。

実験結果

リサーチクエスチョン

• RQ1 なぜグラフニューラルPDEは標準的なGNNと比較してトポロジー摂動に対してより頑健なのか？
• RQ2 リーマン多様体上でのヒート半群の安定性は、トポロジー変更の下で離散的グラフ構造にどのように拡張されるか？
• RQ3 平均曲率フローおよびベルトラミフローのような一般化された拡散フローは、クラス間エッジを保持し、頑健性を向上させることができるか？
• RQ4 提案されたPDEベースのフレームワークは、既存のGNNと比較して、敵対的攻撃下でもどの程度の性能を維持するのか？
• RQ5 時間変動型または摂動を受けるラプラシアン作用素の下で、グラフニューラルPDEの頑健性に対してどのような理論的保証を提供できるか？

主な発見

• グラフニューラルPDEは、グラフメトリクスの微小変更の下でヒート半群の安定性のおかげで、トポロジー摂動に対して本質的な頑健性を示す。
• 理論的分析により、グラフラプラシアンの摂動が解の有界なずれを引き起こすことが示され、誤差はρ>0の条件下でO(e^{-ρt}∫₀ᵗε(τ)dτ)のオーダーで増大する。
• 平均曲率およびベルトラミフローを組み込んだ提案された一般化PDEフレームワークは、拡散中にクラス間エッジを保持し、構造的頑健性を向上させる。
• 実験的結果により、Cora、PubMed、Citeseerなどのノード分類ベンチマークで、新しいモデルが同等または最先端の性能を達成することが確認された。
• 本稿のモデルは、インジェクション攻撃および変更攻撃の両方に対して強く耐性を示し、非PDEベースのGNNを上回る性能を示した。
• 時間不変型の場合でも、フレームワークは標準的なGNNと比較して顕著な頑健性の向上を示しており、理論的知見の妥当性が裏付けられた。