[论文解读] Graph Information Bottleneck

Tailin Wu, Hongyu Ren+2 more|arXiv (Cornell University)|Oct 24, 2020

Advanced Graph Neural Networks参考文献 52被引用 96

一句话总结

Graph Information Bottleneck (GIB) 引入了一种信息理论原理用于图表示学习，在最大化预测信息的同时压缩图结构和节点特征，从而在两种实例化方法 GIB-Cat 与 GIB-Bern 下使得 GNN 对对抗攻击具有鲁棒性。

ABSTRACT

Representation learning of graph-structured data is challenging because both graph structure and node features carry important information. Graph Neural Networks (GNNs) provide an expressive way to fuse information from network structure and node features. However, GNNs are prone to adversarial attacks. Here we introduce Graph Information Bottleneck (GIB), an information-theoretic principle that optimally balances expressiveness and robustness of the learned representation of graph-structured data. Inheriting from the general Information Bottleneck (IB), GIB aims to learn the minimal sufficient representation for a given task by maximizing the mutual information between the representation and the target, and simultaneously constraining the mutual information between the representation and the input data. Different from the general IB, GIB regularizes the structural as well as the feature information. We design two sampling algorithms for structural regularization and instantiate the GIB principle with two new models: GIB-Cat and GIB-Bern, and demonstrate the benefits by evaluating the resilience to adversarial attacks. We show that our proposed models are more robust than state-of-the-art graph defense models. GIB-based models empirically achieve up to 31% improvement with adversarial perturbation of the graph structure as well as node features.

研究动机与目标

• 通过在表达能力和鲁棒性之间取得平衡，推动对图的鲁棒表示学习。
• 通过对结构信息和特征信息进行正则化，将信息瓶颈扩展到图结构数据。
• 在 GIB 原则下，提供可处理的变分上界和下界以及 GNN 的实际实例化。
• 展示相对于基线和防御模型在对抗攻击中的鲁棒性提升。

提出的方法

• 在图的局部依赖假设下，提出 Graph Information Bottleneck (GIB)，使 I(D; ZX) 最小化，同时使 I(Y; ZX) 最大化。
• 推导 GIB 目标的变分上界和下界，并用两种采样方案将其实例化。
• 将 GIB 应用于图注意力网络（GAT），产生两个模型：GIB-Cat（类别邻居采样）和 GIB-Bern（伯努利邻居采样）。
• 使用两种采样算法通过注意力权重对图结构进行细化，并在精炼后的结构上执行信息传递。
• 使用基于界的目标函数进行训练，该目标结合 AIB 和 XIB 项，以及一个对 Y 给定 ZX 的类似交叉熵项。
• 确保学习到的表示具有置换不变性。

实验结果

研究问题

• RQ1 GIB 能否提高对结构和节点特征上的对抗扰动的鲁棒性？
• RQ2 结构信息（AIB）和特征信息（XIB）如何促进 GNN 的鲁棒性？
• RQ3 相比现有的图防御模型，GIB-Cat 和 GIB-Bern 是否提供实用、可扩展的防御？
• RQ4 在图数据中以局部依赖的 GIB 取代独立同分布（i.i.d.）假设会带来何种影响？

主要发现

• GIB-Cat 和 GIB-Bern 在对抗设置下在 Cora 和 PubMed 数据集上持续超越基线模型，如 GCN 和 GAT。
• 在对抗扰动下，GIB 模型在 PubMed 的目标节点上，在扰动较少的情况下，分别达到最高 31.3%（GIB-Cat）和 34.0%（GIB-Bern）的提升。
• 消融分析表明 AIB（结构）和 XIB（特征）都对鲁棒性有贡献，其中结构性的 AIB 在对 Nettack 攻击时起到重要作用。
• GIB 模型对特征扰动具有鲁棒性并且对节点置换保持不变。
• 在 Citeseer 数据集上，由于数据集特定的度分布，GIB 方法在对抗如 GCNJaccard 的专门攻击时可能表现不佳。