[论文解读] Improving Unsupervised Image Clustering With Robust Learning
该论文提出RUC，一种基于鲁棒学习的微调框架，通过过滤噪声伪标签并优化模型预测，提升了无监督图像聚类的性能。通过结合基于置信度、基于度量和混合过滤策略，并融合MixMatch、标签平滑和协同训练，RUC有效缓解了模型过自信问题，显著提升了性能，在多个数据集上达到最先进结果（如在STL-10上达到86.7%），并增强了对对抗性噪声的鲁棒性。
Unsupervised image clustering methods often introduce alternative objectives to indirectly train the model and are subject to faulty predictions and overconfident results. To overcome these challenges, the current research proposes an innovative model RUC that is inspired by robust learning. RUC's novelty is at utilizing pseudo-labels of existing image clustering models as a noisy dataset that may include misclassified samples. Its retraining process can revise misaligned knowledge and alleviate the overconfidence problem in predictions. The model's flexible structure makes it possible to be used as an add-on module to other clustering methods and helps them achieve better performance on multiple datasets. Extensive experiments show that the proposed model can adjust the model confidence with better calibration and gain additional robustness against adversarial noise.
研究动机与目标
- 为解决无监督图像聚类中因过自信和噪声伪标签导致的性能下降问题。
- 通过使用鲁棒学习框架过滤误分类样本，对现有模型进行微调，以提升聚类性能。
- 在无需真实标签的情况下，提升模型校准能力与对抗噪声的鲁棒性。
- 开发一个即插即用的模块，可应用于多种无监督聚类模型以提升其性能。
提出的方法
- RUC将预训练聚类模型生成的伪标签视为噪声数据集，通过基于置信度、基于度量或混合过滤策略识别出干净样本。
- 将干净样本子集作为有标签数据，其余样本作为无标签数据，在半监督学习设置下进行训练。
- 采用MixMatch进行训练，利用有标签和无标签数据，结合一致性正则化与伪标签策略。
- 应用标签平滑以降低过自信，减轻噪声标签对优化过程的影响。
- 通过双网络协同训练稳定学习过程，减少因不洁样本导致的误差累积。
- 在每个训练周期通过协同重构（co-refurbishing）重新评估并更新干净样本集，以维持高质量的监督信号。
实验结果
研究问题
- RQ1鲁棒学习技术能否有效降低无监督图像聚类模型中的过自信现象？
- RQ2如何对现有聚类模型生成的噪声伪标签进行过滤，以提升下游性能？
- RQ3重训练框架在多大程度上能提升最先进无监督聚类方法的准确率与校准能力？
- RQ4所提方法是否能提升聚类任务中对对抗性扰动的鲁棒性？
主要发现
- 在STL-10数据集上，RUC应用于最先进模型SCAN后，准确率从81.4%提升至86.7%，提升5.3个百分点。
- 在CIFAR-10上，RUC达到90.3%的聚类准确率，超越当前最先进水平。
- RUC的期望校准误差（ECE）显著低于基线模型，表明其具有更优的置信度校准能力。
- 定性分析表明，RUC减少了误分类现象，并使各类别分布随训练周期更加平滑与均衡。
- RUC在FGSM和BIM对抗攻击下表现出更优的鲁棒性，得益于其去噪与校准组件。
- 消融实验验证了RUC所有组件（尤其是三种过滤策略）对性能提升的关键作用。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。