[论文解读] DHOG: Deep Hierarchical Object Grouping

Luke Nicholas Darlow, Amos Storkey|arXiv (Cornell University)|Mar 13, 2020

Advanced Neural Network Applications参考文献 29被引用 5

一句话总结

DHOG 提出了一种深度分层表征学习框架，通过按顺序训练多个神经网络头，提升无监督聚类性能。每个头通过最小化头之间的互信息，被鼓励学习不同且非冗余的表征。这种分层方法避免了在互信息最大化过程中陷入局部最优，无需 Sobel 边缘检测等预处理，在 CIFAR-10（+4.3%）、CIFAR-100-20（+1.5%）和 SVHN（+7.2%）上均取得了最先进结果。

ABSTRACT

Recently, a number of competitive methods have tackled unsupervised representation learning by maximising the mutual information between the representations produced from augmentations. The resulting representations are then invariant to stochastic augmentation strategies, and can be used for downstream tasks such as clustering or classification. Yet data augmentations preserve many properties of an image and so there is potential for a suboptimal choice of representation that relies on matching easy-to-find features in the data. We demonstrate that greedy or local methods of maximising mutual information (such as stochastic gradient optimisation) discover local optima of the mutual information criterion; the resulting representations are also less-ideally suited to complex downstream tasks. Earlier work has not specifically identified or addressed this issue. We introduce deep hierarchical object grouping (DHOG) that computes a number of distinct discrete representations of images in a hierarchical order, eventually generating representations that better optimise the mutual information objective. We also find that these representations align better with the downstream task of grouping into underlying object classes. We tested DHOG on unsupervised clustering, which is a natural downstream test as the target representation is a discrete labelling of the data. We achieved new state-of-the-art results on the three main benchmarks without any prefiltering or Sobel-edge detection that proved necessary for many previous methods to work. We obtain accuracy improvements of: 4.3% on CIFAR-10, 1.5% on CIFAR-100-20, and 7.2% on SVHN.

研究动机与目标

• 解决由于贪婪优化和有限数据增强导致的互信息最大化在无监督表征学习中表现欠佳的问题。
• 克服随机梯度下降倾向于收敛到依赖简单特征（如平均颜色）而非复杂物体级模式的简单局部最优的问题。
• 提出一种通过最小化连续网络头之间互信息来鼓励多样化、分层表征的方法。
• 在不依赖 Sobel 边缘检测等预处理技术的前提下，提升下游聚类性能。
• 证明表征的分层排序可实现与潜在物体类别更好的对齐，并提升增强视图之间的互信息。

提出的方法

• DHOG 按顺序、分层地训练多个神经网络头，从简单到复杂逐步进行。
• 每个头通过对比学习方式，最大化同一图像增强视图之间的互信息。
• 引入跨头互信息最小化项，以减少连续头之间的冗余，迫使后续头学习独特特征。
• 通过对比损失最小化第 i 个和第 j 个头（i < j）之间的互信息，鼓励生成独特表征。
• 训练目标结合了每个头的基于增强的互信息最大化，以及头间互信息最小化，以促进表征多样性。
• 分层结构确保早期头学习简单、低级特征，而后期头被迫发现更复杂、高级的表征。

实验结果

研究问题

• RQ1 神经网络头的分层训练顺序是否能改善无监督表征学习中的互信息最大化？
• RQ2 最小化连续头之间的互信息是否能防止模型收敛到相同的局部最优？
• RQ3 该方法是否能在不使用 Sobel 边缘检测等预处理的情况下，实现优于现有最先进方法的聚类性能？
• RQ4 早期头与后期头所学表征在特征复杂度和聚类区分度方面有何差异？
• RQ5 分层结构在多大程度上提升了在基准数据集中与潜在物体类别的对齐程度？

主要发现

• 与之前最先进方法相比，DHOG 在 CIFAR-10 上实现了 4.3% 的准确率提升。
• 在 CIFAR-100-20 上，DHOG 在不使用 Sobel 边缘检测或预滤波的情况下，聚类准确率提升了 1.5%。
• 在 SVHN 上，DHOG 实现了 7.2% 的准确率增益，表明其在多样化数据集上具有强大的泛化能力。
• CIFAR-10 上观察到 A/4.2% 的提升，论文结论中报告的完整结果为 4.3%。
• t-SNE 可视化显示，随着层级上升，分层表征变得越来越清晰且具有聚类特性，后期头捕捉到更复杂、物体级的特征。
• 混淆矩阵显示，与未使用跨头互信息最小化的模型相比，最终 DHOG 头的跨类混淆显著减少。