[论文解读] Detecting People in Cubist Art

Shiry Ginosar, Daniel Haas+2 more|arXiv (Cornell University)|Sep 22, 2014

Visual Attention and Saliency Detection参考文献 22被引用 6

一句话总结

本文在毕卡索的立体派绘画上评估目标检测算法，以检验其在极端视觉抽象下的鲁棒性，并与人类标注者的表现进行比较。研究发现，当图像变得愈发碎片化时，基于部件的检测器与人类的表现均出现相似的性能下降，支持了人类视觉依赖于基于部件的物体表征的理论。

ABSTRACT

Although the human visual system is surprisingly robust to extreme distortion when recognizing objects, most evaluations of computer object detection methods focus only on robustness to natural form deformations such as people's pose changes. To determine whether algorithms truly mirror the flexibility of human vision, they must be compared against human vision at its limits. For example, in Cubist abstract art, painted objects are distorted by object fragmentation and part-reorganization, to the point that human vision often fails to recognize them. In this paper, we evaluate existing object detection methods on these abstract renditions of objects, comparing human annotators to four state-of-the-art object detectors on a corpus of Picasso paintings. Our results demonstrate that while human perception significantly outperforms current methods, human perception and part-based models exhibit a similarly graceful degradation in object detection performance as the objects become increasingly abstract and fragmented, corroborating the theory of part-based object representation in the brain.

研究动机与目标

• 评估最先进目标检测方法在毕卡索立体派艺术等极端抽象场景下是否能匹配人类视觉的鲁棒性。
• 检验基于部件的目标检测模型（允许部件重新组合）是否比整体性或基于模板的模型更好地模拟人类感知。
• 利用抽象艺术——特别是毕卡索的绘画——创建一个基准，以评估检测性能随图像抽象程度增加而下降的情况。
• 研究在挑战识别的条件下（如部件碎片化与重组），算法的性能退化模式是否与人类感知一致。
• 提供证据表明，基于部件的模型比传统深度学习或基于模板的检测器更符合人类视觉处理机制。

提出的方法

• 收集了100幅描绘人物的毕卡索绘画作品，人工标注了人物的边界框以用于目标检测评估。
• 根据人类对识别人体形态的感知难度，将绘画分为五个抽象程度等级。
• 在每个抽象等级上评估了四种最先进目标检测器——DPM、Poselets、R-CNN 和 Dalal & Triggs (D&T)。
• 使用人类标注者对每幅画的抽象程度进行评分，据此将数据集划分为五个性能评估等级。
• 测量各检测器在不同抽象等级下的精确率和召回率，以比较其性能退化模式与人类表现的相似性。
• 分析检测置信度及部件激活模式（例如通过判别性区域），以理解模型在面对更高抽象程度时的响应机制。

实验结果

研究问题

• RQ1 现有目标检测模型在立体派绘画中高度抽象的人体表现上的表现如何，与人类感知相比有何差异？
• RQ2 随着图像抽象程度的提高，基于部件的目标检测模型是否呈现出与人类相似的性能退化模式？
• RQ3 人类评分的抽象程度与检测算法性能退化之间是否存在相关性？
• RQ4 非基于部件的模型（如基于模板或深度学习的检测器）在抽象条件下是否表现出与基于部件模型不同的性能退化模式？
• RQ5 基于自然图像训练的基于部件模型是否能泛化到图像统计特性截然不同的抽象艺术中？

主要发现

• 基于部件的目标检测器（如 DPM、Poselets）在抽象程度增加时表现出平滑、渐进的精确率与召回率下降，与人类标注者的性能下降趋势高度一致。
• Dalal & Triggs (D&T) 基于模板的检测器在第一个抽象等级后即出现突然失效，表明其对部件重组的鲁棒性极差。
• 人类表现与基于部件的模型均呈现出渐进式退化模式，提示两者在物体识别中可能存在相似的底层机制。
• 基于部件的模型在人类评分的抽象等级与性能退化之间的相关性最强，表明其表征结构与人类感知更为契合。
• 尽管基于自然图像进行训练，基于部件的模型（使用HOG特征）仍能有效泛化到具有不同统计特性的立体派艺术，显示出对极端形态扭曲的强鲁棒性。
• 对检测激活的视觉分析显示，在更抽象的图像中，判别性区域的可靠性降低；在最抽象的等级（第5类）中，仅有一个真正阳性激活，而第2类中所有检测均为真正阳性。