[论文解读] LGD-GCN: Local and Global Disentangled Graph Convolutional Networks

Jingwei Guo, Kaizhu Huang+2 more|arXiv (Cornell University)|Apr 24, 2021

Advanced Graph Neural Networks参考文献 19被引用 6

一句话总结

LGD-GCN 提出了一种新颖的图卷积网络，通过在学习到的潜在空间中联合利用局部邻域信息和全局因子特定结构，实现节点表征的解耦。通过在因子感知的潜在结构上整合全局消息传递机制，并引入促进多样性的正则化项，LGD-GCN 提升了因子内的一致性与因子间的多样性，在合成图和真实世界图上均实现了最先进的节点分类性能，并增强了可解释性。

ABSTRACT

Disentangled Graph Convolutional Network (DisenGCN) is an encouraging framework to disentangle the latent factors arising in a real-world graph. However, it relies on disentangling information heavily from a local range (i.e., a node and its 1-hop neighbors), while the local information in many cases can be uneven and incomplete, hindering the interpretabiliy power and model performance of DisenGCN. In this paper\footnote{This paper is a lighter version of \href{https://jingweio.github.io/assets/pdf/tnnls22.pdf}{"Learning Disentangled Graph Convolutional Networks Locally and Globally"} where the results and analysis have been reworked substantially. Digital Object Identifier \url{https://doi.org/10.1109/TNNLS.2022.3195336}.}, we introduce a novel Local and Global Disentangled Graph Convolutional Network (LGD-GCN) to capture both local and global information for graph disentanglement. LGD-GCN performs a statistical mixture modeling to derive a factor-aware latent continuous space, and then constructs different structures w.r.t. different factors from the revealed space. In this way, the global factor-specific information can be efficiently and selectively encoded via a message passing along these built structures, strengthening the intra-factor consistency. We also propose a novel diversity promoting regularizer employed with the latent space modeling, to encourage inter-factor diversity. Evaluations of the proposed LGD-GCN on the synthetic and real-world datasets show a better interpretability and improved performance in node classification over the existing competitive models. Code is available at \url{https://github.com/jingweio/LGD-GCN}.

研究动机与目标

• 解决解耦 GCN（DisenGCN）过度依赖局部邻域信息的问题，后者在真实世界图中可能不一致或稀疏。
• 通过捕捉局部解耦与全局因子特定模式，提升图表示学习的可解释性与性能。
• 通过在学习到的潜在空间中构建因子特定的消息传递结构，增强因子内的一致性。
• 通过一种新颖的正则化项促进因子间的多样性，鼓励解耦特征在潜在空间中形成独立聚类。
• 在合成图与真实世界图基准上，展示其在性能与可解释性方面优于现有最先进模型。

提出的方法

• 利用邻域路由机制，将节点表征局部解耦为对应不同因子的多个潜在单元。
• 对局部解耦的单元进行统计混合建模（如高斯混合模型），推导出每个因子占据独立区域的因子感知连续潜在空间。
• 通过连接在潜在空间中相近的节点，为每个因子构建因子特定的图结构，实现目标导向的全局消息传递。
• 采用全局聚合模块（$\mathbb{LG}_{agg}$）沿这些潜在结构传播因子特定信息，增强因子内一致性。
• 引入一种促进多样性的正则化项（$\mathcal{L}_{div}$），鼓励解耦特征形成独立聚类，提升因子间的区分度。
• 通过结合重建、一致性与多样性项的损失函数端到端优化模型，超参数经调优以保证鲁棒性。

实验结果

研究问题

• RQ1 在潜在空间中引入全局结构信息，是否能相比仅依赖局部邻域，提升解耦表征的一致性？
• RQ2 构建因子感知的潜在空间是否能增强图神经网络中节点分类的可解释性与性能？
• RQ3 所提出的多样性正则化项如何影响潜在空间中解耦因子的可分性？
• RQ4 LGD-GCN 在节点分类任务中，尤其在稀疏图上，相较于 DisenGCN 与其他 SOTA 模型，性能提升程度如何？
• RQ5 所提出各组件（$\mathcal{L}_{space}$, $\mathcal{L}_{div}$, $\mathbb{LG}_{agg}$）对整体模型性能的贡献如何？

主要发现

• LGD-GCN 在节点分类任务中达到最先进性能，Cora 上准确率达 84.9%，Citeseer 上为 74.5%，Pubmed 上为 81.2%，优于 DisenGCN 与其他 SOTA 模型。
• 潜在特征中表现出更密集、更块状的关联模式，尤其在深层网络中，表明更强的可解释性与因子特定结构。
• 消融实验表明，$\mathbb{LG}_{agg}$ 显著增强了特征关联性与可解释性，表现为相关矩阵中更明显的块状模式。
• 多样性正则化项（$\mathcal{L}_{div}$）有效促进了因子间的可分性，当其被移除或过度强调时，性能显著下降。
• 模型对超参数选择具有鲁棒性：$\lambda_{space}$ 在 [0.1, 1] 范围内表现最佳，$\lambda_{div}$ 在 [0, 0.1] 范围内，$k$ 在 Cora 上为 [1, 8]，Citeseer 上为 [1, 10]，当 $k$ 过高时因噪声边导致性能下降。
• 通道数 $M$ 应接近真实潜在因子数（如合成图中含 8 个因子时 $M=8$），性能在该值处达到峰值。