[論文レビュー] Fisher-Bures Adversary Graph Convolutional Networks

Ke Sun, Piotr Koniusz+1 more|arXiv (Cornell University)|Mar 11, 2019

Advanced Graph Neural Networks参考文献 47被引用数 11

ひとこと要約

本稿では、Fisher-Bures情報幾何を用いてグラフラプラシアンの adversarial パーティクルをモデル化することで一般化性能を向上させる、FisherGCN と呼ばれるグラフ畳み込みネットワークを提案する。量子情報幾何を活用し、グラフ多様体上のリーマン計量を導出し、低ランクスペクトル摂動を適用することで耐性を高め、計算コストを最小限に抑えつつ、半教師ありノード分類において一貫した性能向上を達成する。

ABSTRACT

In a graph convolutional network, we assume that the graph $G$ is generated wrt some observation noise. During learning, we make small random perturbations $ΔG$ of the graph and try to improve generalization. Based on quantum information geometry, $ΔG$ can be characterized by the eigendecomposition of the graph Laplacian matrix. We try to minimize the loss wrt the perturbed $G+Δ{G}$ while making $Δ{G}$ to be effective in terms of the Fisher information of the neural network. Our proposed model can consistently improve graph convolutional networks on semi-supervised node classification tasks with reasonable computational overhead. We present three different geometries on the manifold of graphs: the intrinsic geometry measures the information theoretic dynamics of a graph; the extrinsic geometry characterizes how such dynamics can affect externally a graph neural network; the embedding geometry is for measuring node embeddings. These new analytical tools are useful in developing a good understanding of graph neural networks and fostering new techniques.

研究の動機と目的

• 観測ノイズ下でのグラフ構造摂動をモデル化することで、グラフ畳み込みネットワーク（GCNs）の一般化性能を向上させること。
• 厳密なグラフ多様体 $\mathcal{M}$ 及びその局所幾何を定義し、効果的な摂動パrameter化を可能とすること。
• 量子情報理論とグラフニューラルネットワークを結びつける幾何的フレームワークを構築し、耐性を向上させること。
• Fisher 情報を用いたグラフラプラシアンの摂動が、半教師ありノード分類タスクにおいて一貫した性能向上をもたらすか、実証的に検証すること。

提案手法

• グラフ隣接行列 $A$ の小さなランダム摂動 $\Delta G$ の上での期待損失を最小化するように変更された GCN、FisherGCN を提案。Fisher 情報計量を用いる。
• グラフラプラシアンの固有分解を用いて摂動 $\Delta G$ を特徴づけ、敵対的グラフノイズのコンactかつ低ランクのパrameter化を可能にする。
• グラフ多様体上に3つの異なる幾何を導出：内在的（情報理論的ダイナミクス）、外在的（GNN への影響）、埋め込み（ノードラベルの生成モデルに基づく）。
• 観測されたグラフの Fisher 情報行列（FIM）を用いて閉形式のリーマン計量を計算し、特に $\hat{\mathcal{G}}(y^k)$ を用いた埋め込み幾何に焦点を当てる。
• von Neumann エントロピーとスペクトル分解を用いて高次畳み込みをモデル化し、摂動がスペクトル領域における多項式フィルタに対応することを示す。
• 式 (8) からの摂動項の低ランク因子分解を用いて、スケーラブルなトレーニングに適したミニバッチ適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 GCN における敵対的摂動のため、グラフ多様体 $\mathcal{M}$ 及びその局所近傍を厳密に定義する方法は何か？
• RQ2 量子情報理論に基づく幾何的原則は、効果的かつ耐性のあるグラフ摂動の構築をどのように導くか？
• RQ3 グラフ多様体上の異なるリーマン幾何（内在的、外在的、埋め込み）は、GNN のダイナミクスと性能にどのように関係するか？
• RQ4 Fisher 情報に基づく摂動は、半教師ありノード分類タスクにおいて一貫して一般化性能を向上させるか？
• RQ5 Fisher-Bures 計量から導かれるスペクトル摂動は、ミニバッチトレーニング設定でどのように効率的に実装できるか？

主な発見

• FisherGCN は、複数のベンチマークデータセットにおいて、グラフ摂動下でも一貫した性能向上を示し、一般化性能が向上している。
• 観測された FIM $\hat{\mathcal{G}}(y^k)$ から導かれる埋め込み幾何は、摂動がラベル距離分散に与える影響を定量化し、大きな計量は隣接ノード距離の変化に対して高い感受性を示すことを示している。
• リーマン計量 $dy^{k\top}\hat{\mathcal{G}}(y^k)dy^k$ が、生成モデル $p_{ij}$ 下での $d(y_{ik}-y_{jk})^2$ の分散に比例することが示され、幾何とラベルダイナミクスの間の関係を結ぶ。
• Fisher-Bures 計量に基づくスペクトル摂動は、グラフラプラシアンスペクトルにおける高次多項式フィルタの適用と同等であり、信号伝搬を強化する。
• 摂動の低ランク構造のおかげで、ミニバッチ適応が効率的になり、大規模グラフへのスケーラビリティを実現する。
• 本手法は、標準的な GCN やベースラインのデータ拡張戦略を上回り、幾何的に情報に基づいた摂動設計による改善が寄与しているとされる。