[论文解读] How important are Deformable Parts in the Deformable Parts Model?

Santosh Divvala, Alexei A. Efros+1 more|arXiv (Cornell University)|Jun 16, 2012

Advanced Image and Video Retrieval Techniques参考文献 20被引用 9

一句话总结

本文挑战了关于可变形部件是可变形部件模型（DPM）在目标检测中取得成功的主要原因的普遍观点。通过用基于外观的视觉子类别替代传统的宽高比和翻转启发式方法，作者表明，即使完全禁用部件形变，性能损失也极小，证明子类别建模比可变形部件对性能提升更为关键。

ABSTRACT

The Deformable Parts Model (DPM) has recently emerged as a very useful and popular tool for tackling the intra-category diversity problem in object detection. In this paper, we summarize the key insights from our empirical analysis of the important elements constituting this detector. More specifically, we study the relationship between the role of deformable parts and the mixture model components within this detector, and understand their relative importance. First, we find that by increasing the number of components, and switching the initialization step from their aspect-ratio, left-right flipping heuristics to appearance-based clustering, considerable improvement in performance is obtained. But more intriguingly, we observed that with these new components, the part deformations can now be turned off, yet obtaining results that are almost on par with the original DPM detector.

研究动机与目标

• 调查可变形部件模型（DPM）的性能提升是否主要归因于可变形部件，而非其他组件。
• 评估在原始启发式划分基础上增加子类别数量的影响。
• 探索基于外观的聚类是否可以替代人工标注或启发式子类别划分，以提升模型学习效果。
• 评估视觉子类别在目标检测之外的泛化能力，特别是在场景分类任务中的适用性。

提出的方法

• 使用GIST特征对无监督外观聚类进行替换，以替代原始的宽高比和左右翻转启发式方法来初始化子类别。
• 在SUN397场景数据集上训练具有大量视觉子类别（K=50）的DPM检测器，以建模类别内部的视觉多样性。
• 使用10×10网格分辨率的GIST描述符，在一对多SVM框架下评估分类性能。
• 比较使用真实语义子类别初始化和使用无监督视觉子类别初始化的模型性能。
• 评估在使用视觉子类别时，禁用DPM框架中部件形变对性能的影响。
• 在SUN397数据集上，将视觉子类别框架应用于场景分类任务，使用15个基本层次类别。

实验结果

研究问题

• RQ1 DPM的性能提升主要归因于可变形部件，还是其他组件更具影响力？
• RQ2 基于外观的聚类用于子类别初始化是否优于基于启发式的如宽高比或翻转的方法？
• RQ3 在使用视觉子类别时，可在多大程度上移除DPM中的部件形变而不造成显著性能下降？
• RQ4 视觉子类别在场景分类任务中能否达到与人工标注子类别相当的性能？
• RQ5 视觉子类别方法是否能泛化到目标检测以外的视觉任务，如场景分类？

主要发现

• 使用基于外观的视觉子类别，SUN397场景分类数据集上的平均平均精度（mAP）提升至27.1%，显著优于基线线性SVM的16.9%。
• 当使用真实语义子类别初始化时，模型达到27.2%的mAP，表明无监督视觉子类别性能几乎与人工标注子类别相当。
• 在使用视觉子类别时，完全禁用DPM框架中的部件形变仅导致性能轻微下降，表明可变形部件并非高性能的关键因素。
• 所发现的视觉子类别与人工标注的细粒度类别（如“驾驶舱”、“汽车前座”、“公共汽车内部”）高度对应，显示出良好的语义可解释性。
• 视觉子类别方法可实现更简单、更具可解释性的模型，并减少在构建细粒度类别层次结构时对昂贵人工标注的依赖。
• 结果表明，子类别建模是DPM成功的关键贡献因素，而非可变形部件，挑战了视觉社区中的传统认知。