[论文解读] Human-like Clustering with Deep Convolutional Neural Networks

Ali Borji, Ayşegül Dündar|arXiv (Cornell University)|Jun 15, 2017

Visual Attention and Saliency Detection参考文献 38被引用 6

一句话总结

本文提出一种基于深度卷积神经网络（CNN）的无监督聚类方法，通过利用层次化特征学习来模拟人类的感知能力。该模型使用带噪声标签并以均方误差损失进行训练，在具有重叠和复杂形状的合成数据上，其性能优于当前最先进的聚类算法；人工评估也证实，其聚类结果与人类判断的匹配度显著高于FCM或CFSFDP。

ABSTRACT

Classification and clustering have been studied separately in machine learning and computer vision. Inspired by the recent success of deep learning models in solving various vision problems (e.g., object recognition, semantic segmentation) and the fact that humans serve as the gold standard in assessing clustering algorithms, here, we advocate for a unified treatment of the two problems and suggest that hierarchical frameworks that progressively build complex patterns on top of the simpler ones (e.g., convolutional neural networks) offer a promising solution. We do not dwell much on the learning mechanisms in these frameworks as they are still a matter of debate, with respect to biological constraints. Instead, we emphasize on the compositionality of the real world structures and objects. In particular, we show that CNNs, trained end to end using back propagation with noisy labels, are able to cluster data points belonging to several overlapping shapes, and do so much better than the state of the art algorithms. The main takeaway lesson from our study is that mechanisms of human vision, particularly the hierarchal organization of the visual ventral stream should be taken into account in clustering algorithms (e.g., for learning representations in an unsupervised manner or with minimum supervision) to reach human level clustering performance. This, by no means, suggests that other methods do not hold merits. For example, methods relying on pairwise affinities (e.g., spectral clustering) have been very successful in many scenarios but still fail in some cases (e.g., overlapping clusters).

研究动机与目标

• 通过利用模仿人类视觉层次结构的深度学习框架，弥合分类与聚类之间的差距。
• 探究深度卷积神经网络是否能在复杂且重叠的聚类形状上实现人类水平的聚类性能。
• 评估端到端训练的CNN在无显式监督下使用带噪声标签进行无监督聚类的有效性。
• 证明CNN中的层次组合性能够比传统聚类算法更好地捕捉复杂结构模式。

提出的方法

• 使用带噪声标签，通过反向传播端到端训练一个全卷积神经网络，以预测聚类分配。
• 网络使用均方误差损失函数，以最小化预测结果与真实聚类标签之间的差异。
• 该架构利用空间权重共享和层次化特征学习，使滤波器能够从简单边缘逐步检测到完整形状等更复杂的模式。
• 通过用户研究对模型进行评估，其中人类受试者判断哪种聚类结果最符合其感知。
• 该方法应用于具有重叠形状（如两个半圆）的合成刺激，传统聚类方法在此类情况下常会失效。
• 考虑将成对准确率作为潜在的替代损失函数，以在标签较弱或无标签时提升泛化能力。

实验结果

研究问题

• RQ1 使用带噪声标签训练的深度卷积神经网络是否能在复杂且重叠的聚类形状上实现与人类判断相当的聚类性能？
• RQ2 CNN的层次化、组合性结构如何在聚类性能上优于FCM和CFSFDP等传统算法？
• RQ3 人类受试者在多大程度上更偏好CNN生成的聚类结果，而非当前最先进的聚类方法？
• RQ4 使用极少监督信号对CNN进行端到端训练，能否生成适合无监督聚类的表征？
• RQ5 视觉腹侧通路的层次化组织在实现人类级聚类中起到何种作用？

主要发现

• 在14名人类受试者的用户研究中，CNN生成的聚类被选择的频率显著高于FCM（p = 2.52e-06）和CFSFDP（p = 0.045），表明其与人类感知高度一致。
• 在300个合成刺激（包括双聚类和三聚类情形）中，CNN的平均准确率高于FCM和CFSFDP。
• 该模型成功处理了复杂且被遮挡的聚类形状（如重叠的半圆），而传统聚类算法常在此类情况下失效。
• 结果表明，层次化深度学习框架能够通过从数据中学习复杂且组合性的模式，统一分类与聚类任务。
• 本研究表明，对CNN进行无监督或弱监督训练，可能是实现人类水平聚类性能的可行路径。
• 作者得出结论：在聚类算法中整合人类视觉的层次结构，对于实现鲁棒且可泛化的性能至关重要。