[论文解读] Adversarial Graph Disentanglement

Shuai Zheng, Zhenfeng Zhu+3 more|arXiv (Cornell University)|Mar 12, 2021

Advanced Graph Neural Networks参考文献 69被引用 5

一句话总结

该论文提出ADGCN，一种新型图神经网络，通过基于组件的聚合实现微粒级解耦，同时引入宏观级解耦对抗正则化器以增强组件可分性。该方法提升了节点表征的鲁棒性与表达能力，在引文及类似引文图上的节点分类与对抗攻击防御任务中，性能优于当前最先进模型。

ABSTRACT

A real-world graph has a complex topological structure, which is often formed by the interaction of different latent factors. However, most existing methods lack consideration of the intrinsic differences in relations between nodes caused by factor entanglement. In this paper, we propose an \underline{ extbf{A}}dversarial \underline{ extbf{D}}isentangled \underline{ extbf{G}}raph \underline{ extbf{C}}onvolutional \underline{ extbf{N}}etwork (ADGCN) for disentangled graph representation learning. To begin with, we point out two aspects of graph disentanglement that need to be considered, i.e., micro-disentanglement and macro-disentanglement. For them, a component-specific aggregation approach is proposed to achieve micro-disentanglement by inferring latent components that cause the links between nodes. On the basis of micro-disentanglement, we further propose a macro-disentanglement adversarial regularizer to improve the separability among component distributions, thus restricting the interdependence among components. Additionally, to reveal the topological graph structure, a diversity-preserving node sampling approach is proposed, by which the graph structure can be progressively refined in a way of local structure awareness. The experimental results on various real-world graph data verify that our ADGCN obtains more favorable performance over currently available alternatives. The source codes of ADGCN are available at extit{\url{https://github.com/SsGood/ADGCN}}.

研究动机与目标

• 为解决现有图表示学习方法对邻域聚合处理方式统一，忽略链接潜在组件结构的问题。
• 通过显式将节点表征解耦为不同语义组件，提升图神经网络的可解释性与鲁棒性。
• 设计一种训练策略，通过保持多样性的节点采样逐步优化图结构，以揭示隐藏的拓扑关系。
• 通过对抗正则化强制组件独立性，提升模型对对抗攻击的鲁棒性。

提出的方法

• 引入动态组件分配机制，实现微粒级解耦，基于链接因果性将邻居分配至不同的潜在组件。
• 采用基于组件的聚合策略，学习反映邻近节点不同语义角色的表征。
• 提出宏观级解耦对抗正则化器，通过最小化组件分布之间的互信息，强制实现独立性。
• 设计保持多样性的节点采样策略，逐步优化图结构，增强对局部结构的感知能力。
• 将迭代邻域分配与可微机制相结合，支持组件分配的端到端训练。
• 采用两阶段训练流程：第一阶段通过组件分配实现微粒级解耦；第二阶段通过对抗正则化实现宏观级解耦。

实验结果

研究问题

• RQ1 如何通过显式建模节点-链接关系背后的潜在独立组件，改进图表示学习？
• RQ2 通过对抗正则化强制组件独立性，在多大程度上能提升图神经网络的鲁棒性与泛化能力？
• RQ3 通过保持多样性的采样实现渐进式图优化，能否增强学习到的节点表征的表达能力？
• RQ4 在节点分类准确率与对抗攻击防御方面，所提方法与当前最先进模型相比表现如何？

主要发现

• ADGCN在Cora、Citeseer和PubMed等多个真实世界数据集的节点分类任务中达到最先进性能。
• 该模型在针对目标攻击（nettack）与非目标攻击（metattack）的防御中表现出优越鲁棒性，性能下降幅度显著低于基线模型。
• 动态分配机制收敛迅速，连续迭代间的平均余弦相似度在3–4轮内即降至近似恒定值。
• 引入$ L_{adv} $的宏观解耦正则化器相比无该正则化器的变体，能加速收敛并提升组件可分性。
• ADGCN-R（包含图优化）性能优于ADGCN，但因优化过程导致推理时间增加。
• 超参数分析表明，在Cora数据集上，设置$ \lambda = \eta = 1 $且$ m = 5 $可在性能与效率之间取得良好平衡。