[论文解读] Batch Virtual Adversarial Training for Graph Convolutional Networks

Zhijie Deng, Yinpeng Dong+1 more|arXiv (Cornell University)|Feb 25, 2019

Advanced Graph Neural Networks参考文献 29被引用 48

一句话总结

引入批量虚拟对抗训练（BVAT）用于 GCNs，包含基于样本的（S-BVAT）和基于优化的（O-BVAT）变体，提升半监督节点分类并在多个基准数据集上达到最先进的结果。

ABSTRACT

We present batch virtual adversarial training (BVAT), a novel regularization method for graph convolutional networks (GCNs). BVAT addresses the shortcoming of GCNs that do not consider the smoothness of the model's output distribution against local perturbations around the input. We propose two algorithms, sample-based BVAT and optimization-based BVAT, which are suitable to promote the smoothness of the model for graph-structured data by either finding virtual adversarial perturbations for a subset of nodes far from each other or generating virtual adversarial perturbations for all nodes with an optimization process. Extensive experiments on three citation network datasets Cora, Citeseer and Pubmed and a knowledge graph dataset Nell validate the effectiveness of the proposed method, which establishes state-of-the-art results in the semi-supervised node classification tasks.

研究动机与目标

• 动机是解决 GCNs 在局部扰动下输出分布平滑性不足的问题。
• 提出在设计扰动时考虑图连接性的 BVAT 变体。
• 展示在标准图基准数据集上的泛化能力提升和最先进的结果。

提出的方法

• 将虚拟对抗训练（VAT）扩展到图卷积网络。
• 提出 S-BVAT，为具有不重叠感受野的子集节点设计局部扰动。
• 提出 O-BVAT，使用基于 Adam 的过程对所有节点优化扰动。
• 使用批梯度框架高效计算基于 LDS 的正则化。
• 引入基于熵的项，以在半监督设置中促进自信的预测。
• 提供两个算法，详细描述扰动生成及其在训练目标中的集成。

实验结果

研究问题

• RQ1 BVAT 能否在图结构数据的局部扰动下改善 GCN 输出分布的平滑性？
• RQ2 在基准半监督节点分类任务中，S-BVAT 和 O-BVAT 是否优于标准 VAT 和 vanilla GCN？
• RQ3 在将 BVAT 变体应用到大规模图上时，计算与精度之间的权衡是什么？

主要发现

• BVAT 方法产生比 VAT 更高的局部分布平滑性 (LDS) 分数，表明对抗性扰动与最坏情况方向的对齐更强。
• 在 Cora、Citeseer、Pubmed、Nell 上，采用 BVAT 的 GCN（包括 S-BVAT 和 O-BVAT）持续优于 vanilla GCN 和带随机扰动的 GCN。
• O-BVAT 实现最好的性能，在所评估的数据集上确立了最先进的结果。
• S-BVAT 通过聚焦于不重叠的感受野，在计算效率和改进之间提供了平衡。
• 相比标准 GCN 训练，BVAT 需要可容忍的额外计算。