[论文解读] Detecting Semantic Parts on Partially Occluded Objects

Jianyu Wang, Cihang Xie+4 more|arXiv (Cornell University)|Jul 25, 2017

Advanced Neural Network Applications参考文献 23被引用 7

一句话总结

该论文提出了一种基于投票的框架，通过聚合深度网络激活产生的局部视觉线索，检测部分遮挡物体上的语义部件。利用似然比检验和空间约束，该方法动态组合支持性视觉概念，在严重遮挡情况下表现出优越的鲁棒性，当视觉概念从45个减少到10个时，准确率仅下降7.8%，而基线模型的下降幅度更大。

ABSTRACT

In this paper, we address the task of detecting semantic parts on partially occluded objects. We consider a scenario where the model is trained using non-occluded images but tested on occluded images. The motivation is that there are infinite number of occlusion patterns in real world, which cannot be fully covered in the training data. So the models should be inherently robust and adaptive to occlusions instead of fitting / learning the occlusion patterns in the training data. Our approach detects semantic parts by accumulating the confidence of local visual cues. Specifically, the method uses a simple voting method, based on log-likelihood ratio tests and spatial constraints, to combine the evidence of local cues. These cues are called visual concepts, which are derived by clustering the internal states of deep networks. We evaluate our voting scheme on the VehicleSemanticPart dataset with dense part annotations. We randomly place two, three or four irrelevant objects onto the target object to generate testing images with various occlusions. Experiments show that our algorithm outperforms several competitors in semantic part detection when occlusions are present.

研究动机与目标

• 开发一种对训练期间未见过的任意遮挡模式具有鲁棒性的部件检测方法。
• 解决整体检测器（如Faster R-CNN）因缺乏部件级推理能力而在处理遮挡部件时的局限性。
• 仅使用非遮挡的训练数据，实现对部分或完全遮挡的语义部件的检测。
• 构建一种灵活且可解释的检测系统，能够根据上下文动态开启或关闭视觉线索。

提出的方法

• 通过聚类深度网络内部激活，提取视觉概念，表示局部且具有语义意义的特征。
• 采用投票机制，利用似然比检验聚合视觉概念的证据，评估部件存在的置信度。
• 通过空间偏移图施加空间约束，确保检测到的部件与线索之间的相对位置合理。
• 采用多尺度推理，并结合学习到的尺度预测模块，以适应不同大小的物体。
• 根据空间一致性和似然性动态激活或去激活视觉线索，避免使用负面线索。
• 邻域阈值控制空间上下文范围，消融实验表明该方法对长程线索在遮挡下的敏感性较高。

实验结果

研究问题

• RQ1 当仅使用非遮挡数据进行训练时，部件检测系统是否能在部分遮挡物体上保持高准确率？
• RQ2 在遮挡条件下，局部视觉线索的整合方式与整体对象检测相比有何差异？
• RQ3 空间上下文建模对部件检测在遮挡下的鲁棒性有何影响？
• RQ4 该投票框架对支持性视觉概念的数量和空间邻域大小的敏感性如何？
• RQ5 该方法是否能在训练中未包含显式遮挡数据的情况下，泛化到未见过的遮挡模式？

主要发现

• 所提出的投票方法在将视觉概念从45个减少到10个时，准确率下降最小（7.8%），而基线模型的下降幅度更大。
• 使用较小的邻域阈值（γ_th = 56）导致准确率下降4.5%，表明在遮挡条件下长程视觉线索的重要性。
• 尺度预测模块显著提升了检测准确率，且在无真值尺度信息时，投票方法的性能下降最小。
• 在包含2至4个遮挡物的遮挡测试集上，该投票框架在平均精度均值（mAP）上优于Faster R-CNN及其他基线模型。
• 该方法在严重遮挡条件下保持了高度鲁棒性，且随着遮挡程度加剧，与竞争对手的最大性能差距进一步扩大。
• 诊断分析证实，充足的视觉概念至关重要，但过多的视觉概念会增加计算成本而无法带来性能提升。