[论文解读] Adaptive Graph Auto-Encoder for General Data Clustering

Xuelong Li, Hongyuan Zhang+1 more|arXiv (Cornell University)|Feb 20, 2020

Advanced Graph Neural Networks参考文献 43被引用 5

一句话总结

该论文提出AdaGAE，一种用于通用数据聚类的新型图自编码器，通过生成建模和图自编码技术自适应地构建并更新加权图。通过在训练过程中动态增加稀疏性，AdaGAE避免了模型崩溃，并在无需预训练或对初始化不敏感的情况下，在多种数据集上实现了最先进性能。

ABSTRACT

Graph-based clustering plays an important role in the clustering area. Recent studies about graph convolution neural networks have achieved impressive success on graph type data. However, in general clustering tasks, the graph structure of data does not exist such that the strategy to construct a graph is crucial for performance. Therefore, how to extend graph convolution networks into general clustering tasks is an attractive problem. In this paper, we propose a graph auto-encoder for general data clustering, which constructs the graph adaptively according to the generative perspective of graphs. The adaptive process is designed to induce the model to exploit the high-level information behind data and utilize the non-Euclidean structure sufficiently. We further design a novel mechanism with rigorous analysis to avoid the collapse caused by the adaptive construction. Via combining the generative model for network embedding and graph-based clustering, a graph auto-encoder with a novel decoder is developed such that it performs well in weighted graph used scenarios. Extensive experiments prove the superiority of our model.

研究动机与目标

• 将图神经网络扩展至不存在固有图结构的通用数据聚类任务中。
• 解决图自编码器中因简单图更新导致的不稳定性和性能崩溃问题。
• 开发一种可扩展、对初始化不敏感的聚类方法，且无需预训练。
• 利用连接分布的生成建模构建适用于GAE的加权图。
• 通过实证验证，在图构建过程中采用自适应稀疏性对实现稳定且高性能聚类的必要性。

提出的方法

• 基于节点连接分布的生成模型构建初始稀疏图。
• 采用新型解码器设计的图自编码器，以学习低维嵌入表示，该解码器专为加权图设计。
• 在每个训练周期中，利用当前嵌入指导邻居选择，自适应地增加图的稀疏度 $k$。
• 引入一种动态稀疏性更新策略，防止模型崩溃，确保聚类表示的紧凑性。
• 使用联合损失函数，结合重建与聚类目标，通过超参数 $\lambda$ 平衡各项损失。
• 采用迭代训练策略：先进行GAE训练，随后在嵌入空间中通过最近邻方法更新图结构。

实验结果

研究问题

• RQ1 为何图自编码器中的简单图更新会导致通用聚类任务中严重性能下降（崩溃）？
• RQ2 如何在无先验图结构的情况下，有效将图自编码器适配于通用数据聚类？
• RQ3 自适应稀疏性在稳定训练过程和提升聚类性能方面发挥何种作用？
• RQ4 将图构建视为生成视角，能否提升聚类任务中学习表示的质量？
• RQ5 在多样化的数据集上，AdaGAE与现有深度聚类模型相比，在鲁棒性、可扩展性和性能方面表现如何？

主要发现

• AdaGAE在多个数据集上达到最先进性能，在20news数据集上准确率达98.18%，在USPS数据集上达98.36%，显著优于基线模型。
• 固定稀疏性导致严重崩溃：在COIL20数据集上，准确率下降约50%，NMI下降约40%，证实了自适应稀疏性的必要性。
• 自适应图更新机制在所有数据集上均提升性能，消融实验进一步证实其积极影响。
• AdaGAE对初始化具有鲁棒性，且无需预训练，这与许多深度聚类模型不同。
• 可视化结果表明，自适应稀疏性可防止嵌入碎片化，从而形成紧凑、聚类分明的表示。
• 与生成模型相关的损失项（问题7）至关重要——若 $\lambda$ 设置过高，将导致平凡嵌入和模型崩溃。