[论文解读] Adversarial Deep Embedded Clustering: on a better trade-off between Feature Randomness and Feature Drift

Nairouz Mrabah, Mohamed Bouguessa+1 more|arXiv (Cornell University)|Sep 25, 2019

Anomaly Detection Techniques and Applications被引用 6

一句话总结

该论文提出ADEC，一种新型对抗性深度嵌入聚类模型，通过用对抗性正则化替代传统重建损失，缓解了自编码器聚类中的特征随机性（Feature Randomness）与特征漂移（Feature Drift）——这两个关键局限。该方法在基准数据集上实现了最先进性能，且具备更高的稳定性和鲁棒性，无需对敏感超参数进行精细调优。

ABSTRACT

Clustering using deep autoencoders has been thoroughly investigated in recent years. Current approaches rely on simultaneously learning embedded features and clustering the data points in the latent space. Although numerous deep clustering approaches outperform the shallow models in achieving favorable results on several high-semantic datasets, a critical weakness of such models has been overlooked. In the absence of concrete supervisory signals, the embedded clustering objective function may distort the latent space by learning from unreliable pseudo-labels. Thus, the network can learn non-representative features, which in turn undermines the discriminative ability, yielding worse pseudo-labels. In order to alleviate the effect of random discriminative features, modern autoencoder-based clustering papers propose to use the reconstruction loss for pretraining and as a regularizer during the clustering phase. Nevertheless, a clustering-reconstruction trade-off can cause the \ extit{Feature Drift} phenomena. In this paper, we propose ADEC (Adversarial Deep Embedded Clustering) a novel autoencoder-based clustering model, which addresses a dual problem, namely, \ extit{Feature Randomness} and \ extit{Feature Drift}, using adversarial training. We empirically demonstrate the suitability of our model on handling these problems using benchmark real datasets. Experimental results validate that our model outperforms state-of-the-art autoencoder-based clustering methods.

研究动机与目标

• 为解决自编码器聚类中特征随机性与特征漂移的双重挑战，此类问题因不可靠的伪标签和冲突梯度而降低聚类性能。
• 消除重建与聚类目标之间的有害权衡，该权衡导致特征漂移，是端到端训练中的已知问题。
• 提升模型稳定性，降低对超参数调优的敏感性，特别是聚类-重建损失中的平衡参数γ。
• 在不依赖监督信号的前提下增强判别性特征学习，确保在高语义、高维数据集上具备鲁棒性能。
• 验证对抗性正则化相较于标准重建损失，在稳定训练和提升聚类指标方面更具有效性。

提出的方法

• ADEC用对抗性损失替代深度聚类中标准的重建损失，通过判别器区分真实与生成的潜在表征。
• 模型联合优化聚类目标与对抗性目标，降低对重建损失的依赖，缓解梯度冲突。
• 对抗性训练过程对潜在空间进行正则化，防止聚类过程中出现非代表性、随机的特征。
• 该框架保持低维嵌入空间以进行聚类，采用软分配策略生成伪标签。
• 通过用对抗性正则化替代聚类与重建损失的线性组合，避免了对平衡超参数γ的需求。
• 判别器被训练以区分真实数据与生成的潜在特征，而编码器则被训练以欺骗判别器，从而促进有意义的特征学习。

实验结果

研究问题

• RQ1 对抗性训练是否能在不依赖重建损失的前提下，有效减少深度嵌入聚类中的特征随机性？
• RQ2 用对抗性正则化替代重建损失，能否缓解由聚类与重建目标间竞争梯度导致的特征漂移问题？
• RQ3 在基准数据集上，ADEC在聚类准确率（ACC）与标准化互信息（NMI）方面与最先进方法相比表现如何？
• RQ4 与现有方法（如IDECl*）相比，ADEC是否对超参数调优，特别是γ，表现出更低的敏感性？
• RQ5 对抗性正则化是否能带来更平滑、更稳定的训练曲线？

主要发现

• ADEC在MNIST、Fashion-MNIST和Reuters数据集上均实现了优越的聚类性能，ACC与NMI均优于最先进方法。
• 模型表现出显著降低的特征随机性，训练过程中ΔFR值更低，相较于IDECl*。
• ADEC表现出更少的特征漂移，表现为更高的ΔFD值，表明对抗性正则化能更好地平衡聚类与重建目标。
• ADEC的学习曲线更平滑且始终高于IDECl*，波动极小，而IDECl*则表现出明显的噪声波动。
• ADEC消除了对平衡超参数γ精细调优的需求，其在所有测试值下均保持稳定，而IDECl*仅在γ = 0.01时表现可接受。
• 2D潜在空间的可视化结果表明，ADEC生成了分离良好、具有判别性的聚类，证实其具备强大的特征学习与聚类能力。