[论文解读] Deep Feature Factorization For Concept Discovery

Edo Collins, Radhakrishna Achanta+1 more|arXiv (Cornell University)|Jun 26, 2018

Advanced Image and Video Retrieval Techniques参考文献 27被引用 6

一句话总结

Deep Feature Factorization (DFF) 对预训练卷积神经网络（CNN）的特征应用非负矩阵分解（NMF），以在无标注数据的情况下发现图像中分层的语义概念，实现对物体部件和整个物体的定位。该方法在共分割（co-segmentation）和共定位（co-localization）任务中达到最先进性能，包括超越真实标注分辨率的细粒度部件级定位。

ABSTRACT

We propose Deep Feature Factorization (DFF), a method capable of localizing similar semantic concepts within an image or a set of images. We use DFF to gain insight into a deep convolutional neural network's learned features, where we detect hierarchical cluster structures in feature space. This is visualized as heat maps, which highlight semantically matching regions across a set of images, revealing what the network `perceives' as similar. DFF can also be used to perform co-segmentation and co-localization, and we report state-of-the-art results on these tasks.

研究动机与目标

• 开发一种无需标注数据的无监督方法，用于在深度 CNN 特征中发现语义概念。
• 揭示 CNN 特征空间中对应于有意义部件分解的分层聚类结构。
• 仅使用预训练的 CNN 和输入图像，实现物体及其部件的共分割与共定位。
• 通过可视化网络感知为语义上相似的区域，提升 CNN 表示的可解释性。
• 在无需监督训练或手工设计先验的情况下，在共分割和部件分割基准上实现具有竞争力的性能。

提出的方法

• 对预训练 CNN 层的激活图应用非负矩阵分解（NMF），将特征矩阵分解为非负因子。
• 将多张图像的特征图视为一个整体矩阵，其中每一列对应所有图像中某一空间位置的特征。
• 将得到的 NMF 基向量重塑为热力图，以突出显示图像集中语义匹配的区域。
• 通过因子数量 $k$ 控制发现的粒度，$k$ 越高，越能实现更精细的部件级定位。
• 通过将热力图模式与已知部件类别匹配，实现 DFF 因子的半自动或自动标注。
• 利用特征空间中的分层聚类结构，识别对应于部件的子簇（例如，身体簇中的肢体子簇）。

实验结果

研究问题

• RQ1 应用于 CNN 特征的 NMF 是否能揭示对应于物体部件和整个物体的分层语义结构？
• RQ2 在不进行微调或标注的情况下，预训练的 CNN 是否能发现图像之间的语义有意义对应关系？
• RQ3 DFF 是否能定位训练过程中未见过的物体部件，例如新型物体类别？
• RQ4 在共分割和共定位任务中，DFF 与最先进方法相比表现如何？
• RQ5 DFF 是否能区分同一物体类别中不同部件（例如，头部与躯干）？

主要发现

• DFF 在共分割和共定位基准上达到最先进性能，优于依赖强先验或监督训练的方法。
• 当 $k=3$ 时，DFF 在 PASCAL-Parts 数据集上对 'ear/eye/head/nose' 部件的 IoU 达到 38，表明其具有出色的定位精度。
• 当 $k=4$ 时，DFF 在 60% 的摩托车图像中成功定位了 'person' 类别，证明其能够检测常见物体中的子类别。
• DFF 揭示了特征空间中的分层聚类结构，例如 'body' 聚类包含 'limbs' 子簇，后者进一步细分为 'arms' 和 'legs'。
• DFF 能够实现超越真实标注分辨率的定位，例如即使真实标注未区分，也能区分车轮的顶部和底部。
• 基于仅五张图像的半自动 DFF 因子标注即可实现准确的部件标注，证实了该方法的可解释性与一致性。