[论文解读] Inverting and Visualizing Features for Object Detection

Carl Vondrick, Aditya Khosla+2 more|arXiv (Cornell University)|Dec 11, 2012

Advanced Image and Video Retrieval Techniques参考文献 29被引用 13

一句话总结

本文提出了一种新颖的方法，用于反转和可视化用于目标检测的HOG特征，使研究人员能够‘看到’检测器所感知的世界。通过从HOG描述符重建自然图像，作者发现误报在特征空间中往往表现为合理的物体，表明许多检测失败的根本原因在于特征空间的局限性，而非学习算法或数据本身。

ABSTRACT

We introduce algorithms to visualize feature spaces used by object detectors. The tools in this paper allow a human to put on `HOG goggles' and perceive the visual world as a HOG based object detector sees it. We found that these visualizations allow us to analyze object detection systems in new ways and gain new insight into the detector's failures. For example, when we visualize the features for high scoring false alarms, we discovered that, although they are clearly wrong in image space, they do look deceptively similar to true positives in feature space. This result suggests that many of these false alarms are caused by our choice of feature space, and indicates that creating a better learning algorithm or building bigger datasets is unlikely to correct these errors. By visualizing feature spaces, we can gain a more intuitive understanding of our detection systems.

研究动机与目标

• 开发直观且感知准确的高维HOG特征空间可视化方法，用于目标检测。
• 通过分析特征的重建视觉外观，诊断目标检测器产生误报的原因。
• 通过将人类在HOG可视化上的表现与检测器性能进行比较，评估HOG特征是否构成目标检测性能的根本瓶颈。
• 创建一个通用的、交互式的工具箱，用于可视化和解释超越HOG的目标检测特征。

提出的方法

• 提出四种特征反演算法，利用优化和深度学习技术将HOG描述符映射回自然图像。
• 使用学习到的生成模型将HOG特征反演为感知上逼真的图像，从而实现对特征空间的直观解释。
• 应用该反演方法，可视化可变形部件模型（DPM）中的最高检测结果、根模板和部件检测器。
• 开展一项人类研究，参与者对HOG可视化结果进行分类，以评估HOG特征的判别能力。
• 通过感知评估和自动基准测试，将反演质量与现有的HOG图示进行对比。
• 构建一个公开的在线工具箱，使研究人员能够交互式地可视化和调试目标检测特征。

实验结果

研究问题

• RQ1 在从HOG特征重建后，目标检测中高分误报检测（如将湖泊误分类为汽车）在视觉上是否仍然合理？
• RQ2 当仅基于HOG特征可视化进行分类时，人类观察者能否在性能上优于最先进的检测器（如DPM）？
• RQ3 HOG特征表示中丢失了多少信息，这可以通过人类在HOG可视化上的分类表现与原始RGB图像块之间的性能差距来衡量？
• RQ4 所学习的检测器组件（如根模板和部件模板）的可视化是否揭示了标准HOG图示中不可见的有意义结构细节？
• RQ5 HOG特征空间是否从根本上限制了检测器的性能，还是说更优的学习算法可以克服其缺陷？

主要发现

• 高分误报检测（如将湖泊误分类为汽车）在HOG特征空间中呈现视觉上合理的外观，表明错误根源在于特征表示本身，而非学习算法。
• 人类受试者在汽车和椅子检测任务中，对HOG可视化结果的分类准确率与DPM相当或更优，表明HOG特征在这些类别上已接近性能极限。
• 在人物检测任务中，人类受试者表现略逊于DPM，可能是因为人类能够凭空构想出合理的类人形态，突显了人类感知中的偏差。
• 人类在HOG可视化上的分类表现与在原始RGB图像块上的表现之间的性能差距，表明HOG特征丢失了大量判别性信息。
• 对所学习检测器组件（如根模板和部件模板）的可视化揭示了标准HOG图示中无法察觉的详细结构模式，为理解检测器行为提供了新见解。
• 本研究表明，未来目标检测的性能提升不太可能来自更优的学习算法或更大规模的数据集，而更可能源于设计更丰富、更具表现力的特征空间。