[论文解读] Independence Promoted Graph Disentangled Networks

Yanbei Liu, Xiao Wang+2 more|arXiv (Cornell University)|Nov 26, 2019

Advanced Graph Neural Networks参考文献 37被引用 5

一句话总结

该论文提出了一种新型图卷积网络框架——独立性促进的图解缠结网络（IPGDN），通过邻域路由机制学习独立的潜在因子，并利用希尔伯特-施密特独立性准则（HSIC）强制实现统计独立性，从而对节点表征进行解缠。IPGDN通过端到端可训练的方式联合优化解缠与独立性正则化，在半监督节点分类、图聚类和可视化任务中均取得了当前最优性能。

ABSTRACT

We address the problem of disentangled representation learning with independent latent factors in graph convolutional networks (GCNs). The current methods usually learn node representation by describing its neighborhood as a perceptual whole in a holistic manner while ignoring the entanglement of the latent factors. However, a real-world graph is formed by the complex interaction of many latent factors (e.g., the same hobby, education or work in social network). While little effort has been made toward exploring the disentangled representation in GCNs. In this paper, we propose a novel Independence Promoted Graph Disentangled Networks (IPGDN) to learn disentangled node representation while enhancing the independence among node representations. In particular, we firstly present disentangled representation learning by neighborhood routing mechanism, and then employ the Hilbert-Schmidt Independence Criterion (HSIC) to enforce independence between the latent representations, which is effectively integrated into a graph convolutional framework as a regularizer at the output layer. Experimental studies on real-world graphs validate our model and demonstrate that our algorithms outperform the state-of-the-arts by a wide margin in different network applications, including semi-supervised graph classification, graph clustering and graph visualization.

研究动机与目标

• 为解决图表示学习中解缠潜在因子之间缺乏显式独立性约束的问题。
• 开发一种可微分的、端到端的框架，通过将邻域特征路由至不同的潜在因子，学习解缠的节点表征。
• 将基于核的独立性度量（HSIC）作为正则化项集成到GCN中，以促进表征之间的多样性并减少冗余。
• 提升GCN在下游任务（如分类与聚类）中的可解释性、鲁棒性与性能表现。
• 证明在解缠因子之间强制独立性可生成更具信息量且结构意义更明确的节点表征。

提出的方法

• 提出一种邻域路由机制，将节点的邻域分解为不同方面（如兴趣、工作、教育等），分别进行表征学习。
• 采用多通道图卷积层，每个通道对应一个解缠的潜在因子，实现因子特定的特征聚合。
• 在输出层应用希尔伯特-施密特独立性准则（HSIC）作为可微分正则化项，以最小化潜在表征之间的统计依赖性。
• 通过反向传播联合优化表征学习与独立性正则化，实现端到端训练。
• 利用基于核的度量（HSIC）捕捉潜在因子之间的非线性依赖关系，确保其统计独立。
• 将HSIC正则化项作为损失函数的一部分集成到GCN框架中，由超参数λ控制。

实验结果

研究问题

• RQ1 通过显式强制潜在因子之间的统计独立性，能否增强GCN中解缠表征学习的效果？
• RQ2 在节点分类与聚类等下游图学习任务中，强制解缠因子之间的独立性会产生何种影响？
• RQ3 希尔伯特-施密特独立性准则（HSIC）是否可作为图表示学习中促进独立性的有效可微分正则化项？
• RQ4 所提出的IPGDN模型对超参数选择（特别是独立性正则化权重λ）的鲁棒性如何？
• RQ5 IPGDN能否在真实图（如社交网络或引文网络）中发现有意义且语义上区分的潜在因子？

主要发现

• 在Cora、Citeseer和PubMed数据集上，IPGDN在半监督节点分类任务中优于当前最优方法，准确率更高。
• 该模型在图聚类任务中表现更优，得益于解缠且独立的表征，聚类质量显著提升。
• 可视化结果表明，IPGDN的嵌入表征表现出高类内相似性与清晰的类间分离，证明了解缠的有效性。
• 独立性正则化超参数λ在较宽范围内（如[10⁻⁵, 10⁻⁶]）具有鲁棒性，仅当λ超过某一阈值（如1.25×10⁻⁵）时性能才开始下降。
• IPGDN在少量迭代内即可收敛，验证了所提训练方案的高效性。
• 使用HSIC作为正则化项能有效降低潜在因子间的冗余，生成更具信息量与多样性的节点表征。