[论文解读] Mining Object Parts from CNNs via Active Question-Answering

Quanshi Zhang, Ruiming Cao+2 more|arXiv (Cornell University)|Apr 11, 2017

Domain Adaptation and Few-Shot Learning参考文献 42被引用 7

一句话总结

本文提出一种主动问答框架，通过利用人类反馈逐步构建与或图（AOG），从预训练的卷积神经网络（CNN）中挖掘可解释的物体部件概念。通过利用CNN特征中的潜在模式，并借助主动学习聚焦于未被解释的物体，该方法仅使用1/6至1/3的部件标注，便实现了与Fast-RCNN相当的部件定位性能，显著降低了人工标注成本，同时保持了高精度。

ABSTRACT

Given a convolutional neural network (CNN) that is pre-trained for object classification, this paper proposes to use active question-answering to semanticize neural patterns in conv-layers of the CNN and mine part concepts. For each part concept, we mine neural patterns in the pre-trained CNN, which are related to the target part, and use these patterns to construct an And-Or graph (AOG) to represent a four-layer semantic hierarchy of the part. As an interpretable model, the AOG associates different CNN units with different explicit object parts. We use an active human-computer communication to incrementally grow such an AOG on the pre-trained CNN as follows. We allow the computer to actively identify objects, whose neural patterns cannot be explained by the current AOG. Then, the computer asks human about the unexplained objects, and uses the answers to automatically discover certain CNN patterns corresponding to the missing knowledge. We incrementally grow the AOG to encode new knowledge discovered during the active-learning process. In experiments, our method exhibits high learning efficiency. Our method uses about 1/6-1/3 of the part annotations for training, but achieves similar or better part-localization performance than fast-RCNN methods.

研究动机与目标

• 开发一种方法，以解释并语义化组织预训练CNN中隐含的知识，用于物体部件理解。
• 通过使用主动问答而非完整的弱监督或端到端训练，减少部件定位任务中的人工标注负担。
• 实现可增量、由人类引导的可解释AOG构建，以从CNN激活中建模分层部件结构。
• 通过聚焦于当前AOG无法解释的物体，以最小监督实现高精度的部件定位。

提出的方法

• 该方法使用预训练的CNN检测物体部件，并识别当前AOG无法解释部件外观的图像。
• 基于增益预测模型，主动选择最具信息量的未解释物体进行人工提问，优先选择最有可能显著改进AOG的样本。
• 人工回答引导发现CNN中与先前缺失部件模板相对应的新神经模式。
• 这些新模式被用于扩展AOG，其中与节点（AND nodes）表示组合区域，或节点（OR nodes）编码替代部件模板。
• AOG编码了四层语义层次：部件（OR节点）、部件模板（AND节点）、潜在模式（OR节点）和CNN单元（叶节点），且不微调原始CNN权重。
• 系统通过重用预训练特征，仅从现有激活中挖掘和组织模式，避免了模型漂移。

实验结果

研究问题

• RQ1 能否通过可解释的与或图（AOG）对预训练CNN进行语义解释，以揭示分层部件结构？
• RQ2 主动问答能否高效引导在最小人工监督下增量发现新的部件模板？
• RQ3 通过人类反馈挖掘CNN中的潜在模式，是否能带来比标准弱监督或端到端方法更好的部件定位性能？
• RQ4 该方法能否在显著减少部件标注数量的前提下，实现与完全监督模型（如Fast-RCNN）相当的性能？

主要发现

• 在Pascal VOC Part数据集上，该方法仅使用10个部件标注即实现了优于使用60个标注训练的Fast-RCNN的部件定位性能。
• 在ILSVRC 2013 DET Animal-Part数据集上，该方法仅使用1/6至1/3的部件标注，便达到或超过Fast-RCNN的性能。
• 当与Fast-RCNN结合用于精炼时，该方法在30个标注下实现了50.5的PCP分数，超过Fast-RCNN在相同标注数量下的45.7。
• 主动问答过程有效优先处理常见且被建模不足的部件外观，减少了对已解释或罕见情况的无效标注工作量。
• AOG增长过程表现出高学习效率，性能通过迭代的人工反馈和模式挖掘持续提升。
• 该方法通过不微调CNN权重，而是重用并组织预训练特征来构建新部件模板，避免了模型漂移。