[论文解读] Fisher-Bures Adversary Graph Convolutional Networks

Ke Sun, Piotr Koniusz+1 more|arXiv (Cornell University)|Mar 11, 2019

Advanced Graph Neural Networks参考文献 47被引用 11

一句话总结

本文提出FisherGCN，一种图卷积网络，通过引入Fisher-Bures信息几何来建模图拉普拉斯矩阵的对抗性扰动，从而提升泛化性能。通过利用量子信息几何，推导出图流形上的黎曼度量，并应用低秩谱扰动以增强鲁棒性，在半监督节点分类任务中实现了稳定的性能提升，且计算开销极低。

ABSTRACT

In a graph convolutional network, we assume that the graph $G$ is generated wrt some observation noise. During learning, we make small random perturbations $ΔG$ of the graph and try to improve generalization. Based on quantum information geometry, $ΔG$ can be characterized by the eigendecomposition of the graph Laplacian matrix. We try to minimize the loss wrt the perturbed $G+Δ{G}$ while making $Δ{G}$ to be effective in terms of the Fisher information of the neural network. Our proposed model can consistently improve graph convolutional networks on semi-supervised node classification tasks with reasonable computational overhead. We present three different geometries on the manifold of graphs: the intrinsic geometry measures the information theoretic dynamics of a graph; the extrinsic geometry characterizes how such dynamics can affect externally a graph neural network; the embedding geometry is for measuring node embeddings. These new analytical tools are useful in developing a good understanding of graph neural networks and fostering new techniques.

研究动机与目标

• 通过在观测噪声下建模图结构扰动，提升图卷积网络（GCNs）的泛化性能。
• 定义一个严格的图流形 $\mathcal{M}$ 及其局部几何，以实现对抗性扰动的有效参数化。
• 构建一个将量子信息理论与图神经网络相连接的几何框架，以提升鲁棒性。
• 通过实证验证，基于Fisher信息扰动图拉普拉斯矩阵可在半监督节点分类任务中实现一致的性能提升。

提出的方法

• 提出一种改进的GCN——FisherGCN，通过Fisher信息度量最小化图邻接矩阵 $A$ 的小随机扰动 $\Delta G$ 下的期望损失。
• 通过图拉普拉斯矩阵的特征分解表征扰动 $\Delta G$，实现对抗性图噪声的紧凑、低秩参数化。
• 在图流形上推导出三种不同的几何结构：内在几何（信息论动力学）、外在几何（对GNN的影响）以及嵌入几何（基于节点标签生成模型）。
• 利用观测图的Fisher信息矩阵（FIM）计算闭式黎曼度量，特别是通过 $\hat{\mathcal{G}}(y^k)$ 推导嵌入几何的度量。
• 使用冯·诺依曼熵和谱分解建模高阶卷积，表明扰动在谱域中对应于多项式滤波器。
• 采用扰动项（来自式8）的低秩分解，以支持高效的小批量训练，提升大规模图的可扩展性。

实验结果

研究问题

• RQ1 如何严格定义图流形 $\mathcal{M}$ 及其局部邻域，以实现GCN中对抗性扰动的建模？
• RQ2 基于量子信息理论的哪些几何原理可指导有效、鲁棒的图扰动构建？
• RQ3 图流形上的不同黎曼几何（内在、外在、嵌入）如何与GNN的动力学和性能相关联？
• RQ4 基于Fisher信息的扰动是否能在半监督节点分类任务中持续提升泛化性能？
• RQ5 如何在小批量训练设置中高效实现基于Fisher-Bures度量的谱扰动？

主要发现

• FisherGCN在多个基准数据集上均实现了归纳节点分类任务中的稳定性能提升，表明其在图扰动下具备更强的泛化能力。
• 基于观测FIM $\hat{\mathcal{G}}(y^k)$ 推导出的嵌入几何量化了扰动对标签距离方差的影响，较大的度量值表明对邻居距离变化具有高敏感性。
• 黎曼度量 $dy^{k\top}\hat{\mathcal{G}}(y^k)dy^k$ 被证明与生成模型 $p_{ij}$ 下 $d(y_{ik}-y_{jk})^2$ 的方差成正比，建立了几何与标签动力学之间的联系。
• 基于Fisher-Bures度量的谱扰动等价于在图拉普拉斯谱上应用高阶多项式滤波器，从而增强信号传播。
• 扰动的低秩结构使得小批量适应成为可能，支持大规模图的可扩展训练。
• 该方法优于标准GCN和基线数据增强策略，性能提升归因于基于几何的扰动设计。