[论文解读] Interactively Transferring CNN Patterns for Part Localization

Quanshi Zhang, Ruiming Cao+4 more|arXiv (Cornell University)|Aug 5, 2017

Generative Adversarial Networks and Image Synthesis参考文献 21被引用 17

一句话总结

本文提出一种交互式方法，通过极少的人工输入，将预训练卷积神经网络（CNN）中的潜在模式迁移用于物体部件定位。通过从卷积层中挖掘激活模式，并允许用户通过与或图（AOG）对这些模式进行精炼，该方法在少样本设置下实现了更优的定位精度，尤其得益于人类感知对噪声或错误模式的纠正，优于端到端学习基线方法。

ABSTRACT

In the scenario of one/multi-shot learning, conventional end-to-end learning strategies without sufficient supervision are usually not powerful enough to learn correct patterns from noisy signals. Thus, given a CNN pre-trained for object classification, this paper proposes a method that first summarizes the knowledge hidden inside the CNN into a dictionary of latent activation patterns, and then builds a new model for part localization by manually assembling latent patterns related to the target part via human interactions. We use very few (e.g., three) annotations of a semantic object part to retrieve certain latent patterns from conv-layers to represent the target part. We then visualize these latent patterns and ask users to further remove incorrect patterns, in order to refine part representation. With the guidance of human interactions, our method exhibited superior performance of part localization in experiments.

研究动机与目标

• 解决在极少数标注样本（1–3个）下学习物体部件检测器的挑战，因为端到端CNN训练常因噪声而过拟合，或无法捕捉语义部件。
• 实现人类参与的CNN衍生潜在模式精炼，确保部件定位的语义正确性和鲁棒性。
• 开发一种可泛化的框架，将预训练CNN的知识迁移至人类可解释的AOG模型中，用于部件表征。
• 通过结合预训练CNN特征与交互式模式选择，提升弱监督设置下的部件定位性能。

提出的方法

• 使用统计准则从预训练CNN的卷积层中挖掘数百个潜在激活模式，强调频繁出现、上下文相关且空间一致的模式。
• 通过与或图（AOG）表示挖掘出的模式，以建模语义层次结构：从CNN单元到潜在模式、部件模板，再到语义部件。
• 使用转置卷积网络（up-conv-net）在不同网络深度可视化潜在模式，使用户能够检查低层细节与高层上下文。
• 允许用户基于视觉检查手动修剪无关的AOG节点（即模式），有效去除背景噪声和虚假激活。
• 通过仅组合经人工验证的、语义相关的模式，构建最终的AOG模型，该模型随后用于部件定位。
• 使用归一化距离作为评估指标，通过在裁剪图像上使用物体边界框隔离部件检测性能，对方法进行评估。

实验结果

研究问题

• RQ1 在少样本学习场景下，人类交互式精炼CNN衍生的潜在模式是否能提升部件定位性能？
• RQ2 能否有效挖掘并迁移预训练CNN内部表征，形成用于部件检测的人类可解释模型？
• RQ3 通过AOG进行交互式模式选择，是否优于最小监督下的端到端训练？
• RQ4 在人类感知引导下，低层与高层CNN特征如何协同贡献于准确的部件定位？

主要发现

• 所提方法在Pascal VOC Part数据集上达到最先进性能，归一化距离分别为：鸟喙0.1225，鸟颈0.1570，鸟翼0.1580，猫眼0.1331，优于Mining-raw基线方法。
• 在ILSVRC 2013 DET Animal-Part数据集上，该方法显著降低了所有部件的平均归一化距离，展现出在少样本部件定位中的持续优越性。
• 在CUB200-2011数据集上的评估表明，该方法的归一化距离低于基线方法，尤其在鸟类头部（额头）等具有挑战性的部件上表现更优。
• 人类交互时间平均为每张图像12.3秒，单个部件边界框标注耗时3.4秒，表明该方法在交互使用中具有实际效率。
• 可视化结果表明，低层模式捕捉了精细细节（如鸟喙纹理），而高层模式编码了上下文关系，两者均通过人工选择得到有效精炼。
• 经人工修剪后的AOG模型在定位精度上表现出显著提升，证实人类感知能有效纠正CNN产生的噪声或错误模式。