[论文解读] GATCluster: Self-Supervised Gaussian-Attention Network for Image Clustering

Chuang Niu, Jun Zhang+2 more|arXiv (Cornell University)|Feb 27, 2020

Advanced Image and Video Retrieval Techniques参考文献 52被引用 10

一句话总结

GATCluster 提出了一种自监督高斯注意力网络，直接预测语义聚类标签而无需后处理，通过四种无监督学习任务——变换不变性、可分性最大化、熵正则化和注意力映射——学习独热编码特征，避免平凡解。该方法在图像聚类基准上实现了最先进性能，并通过一种内存高效的两步训练策略，有效处理大尺寸图像。

ABSTRACT

We propose a self-supervised Gaussian ATtention network for image Clustering (GATCluster). Rather than extracting intermediate features first and then performing the traditional clustering algorithm, GATCluster directly outputs semantic cluster labels without further post-processing. Theoretically, we give a Label Feature Theorem to guarantee the learned features are one-hot encoded vectors, and the trivial solutions are avoided. To train the GATCluster in a completely unsupervised manner, we design four self-learning tasks with the constraints of transformation invariance, separability maximization, entropy analysis, and attention mapping. Specifically, the transformation invariance and separability maximization tasks learn the relationships between sample pairs. The entropy analysis task aims to avoid trivial solutions. To capture the object-oriented semantics, we design a self-supervised attention mechanism that includes a parameterized attention module and a soft-attention loss. All the guiding signals for clustering are self-generated during the training process. Moreover, we develop a two-step learning algorithm that is memory-efficient for clustering large-size images. Extensive experiments demonstrate the superiority of our proposed method in comparison with the state-of-the-art image clustering benchmarks. Our code has been made publicly available at https://github.com/niuchuangnn/GATCluster.

研究动机与目标

• 为解决在不依赖中间特征提取或后处理的情况下，学习用于无监督图像聚类的判别性语义特征的挑战。
• 通过在标签特征上施加熵最大化和 $l_1$-范数约束，避免所有样本被分配到单一聚类的平凡聚类解。
• 通过集成对局部判别区域敏感的参数化注意力机制，提升聚类中的面向对象语义理解。
• 通过一种内存高效的两步学习算法，利用统计伪目标，实现在大尺寸图像（例如 $128\times 128$ 及以上）上的有效训练。
• 开发一种完全自监督的框架，所有训练信号均在训练过程中生成，无需外部监督。

提出的方法

• 模型通过标签特征定理直接输出独热编码的标签特征，确保学习到的特征适用于聚类并避免平凡解。
• 设计了四种自学习任务：(1) 变换不变性，以最大化同一图像增强视图之间的相似性；(2) 可分性最大化，以增强样本对之间的相似性与差异性；(3) 带 $l_1$-范数约束的熵分析，以促进样本在聚类间的均匀分布并避免崩溃；(4) 基于参数化高斯核的注意力模块与软注意力损失，以突出判别性局部区域。
• 提出一种两步学习算法：首先在大批次中以拆分与合并的方式计算伪目标；其次使用这些伪目标以监督方式在小批量中训练模型，从而实现内存效率。
• 所有损失函数同时优化，而非交替优化，提升了训练稳定性和收敛性。
• 注意力机制使用可微分高斯核生成高分辨率注意力图，消融实验证明在 $6\times 6$ 分辨率时性能最佳。

实验结果

研究问题

• RQ1 自监督深度聚类模型能否在不进行中间特征提取或后处理的情况下，直接预测语义聚类标签？
• RQ2 在无监督深度聚类中，如何有效避免平凡解（如所有样本被归为一个聚类）？
• RQ3 一种突出局部判别区域的注意力机制在多大程度上能提升面向对象的语义聚类？
• RQ4 所提出的方法能否在保持高聚类准确率和内存效率的前提下，扩展到大尺寸图像（如 $128\times 128$）？
• RQ5 不同图像尺寸和注意力图分辨率如何影响最终的聚类性能？

主要发现

• 在 STL10 上，GATCluster 实现了 0.583（最佳）、0.537（平均）和 0.033（标准差）的准确率，优于最先进方法。
• 在 ImageNet-10 上，模型在 $128\times 128$ 图像尺寸下达到 0.762（最佳）和 0.735（平均）的准确率，相较于 $96\times 96$ 输入有显著提升。
• $6\times 6$ 分辨率的注意力图表现最佳，准确率达到 0.762（最佳）和 0.735（平均），优于更粗糙或更精细的分辨率。
• 由于模型深度增加和数据集规模有限，聚类性能在超过 $128\times 128$ 后趋于平稳或下降，表明图像分辨率与模型容量之间存在权衡。
• 消融研究证实，四个组件——变换不变性、可分性、熵和注意力——均对性能有贡献，完整模型设置达到最佳结果。
• 两步学习算法通过降低内存消耗，实现了大图像的有效训练，使处理大于 $96\times 96$ 的图像成为可能。