[论文解读] Shift Equivariance in Object Detection

Marco Manfredi, Yu Wang|arXiv (Cornell University)|Aug 13, 2020

Advanced Neural Network Applications参考文献 28被引用 5

一句话总结

本文提出了一种新颖的评估指标——AP 变化量（ΔAP），通过测量在微小图像平移下平均精度（mAP）的变化，量化目标检测模型的平移等变性。研究发现，现代检测器——无论是一阶段还是两阶段——即使在仅发生一像素的平移时，性能也会出现显著下降。尽管模糊池化（blur-pooling）和推理时增强（test-time augmentation）等技术有所改善，但均未能实现完全的平移等变性。

ABSTRACT

Robustness to small image translations is a highly desirable property for object detectors. However, recent works have shown that CNN-based classifiers are not shift invariant. It is unclear to what extent this could impact object detection, mainly because of the architectural differences between the two and the dimensionality of the prediction space of modern detectors. To assess shift equivariance of object detection models end-to-end, in this paper we propose an evaluation metric, built upon a greedy search of the lower and upper bounds of the mean average precision on a shifted image set. Our new metric shows that modern object detection architectures, no matter if one-stage or two-stage, anchor-based or anchor-free, are sensitive to even one pixel shift to the input images. Furthermore, we investigate several possible solutions to this problem, both taken from the literature and newly proposed, quantifying the effectiveness of each one with the suggested metric. Our results indicate that none of these methods can provide full shift equivariance. Measuring and analyzing the extent of shift variance of different models and the contributions of possible factors, is a first step towards being able to devise methods that mitigate or even leverage such variabilities.

研究动机与目标

• 为解决目标检测器中平移等变性缺乏定量评估的问题，该问题在自动驾驶等安全关键应用中至关重要。
• 探究微小图像平移（小至一像素）对现代目标检测架构鲁棒性的影响。
• 评估各种架构改进与数据增强技术在提升平移等变性方面的有效性。
• 建立一种标准化的端到端评估流程，用于测量检测模型的平移等变性。

提出的方法

• 提出一种贪心搜索算法，用于计算在平移图像集上的平均精度（mAP）的上下界，并将 ΔAP 定义为这两个边界的差值。
• 对验证图像施加微小平移（最多 ±1 像素），并重新评估检测器性能，以测量 mAP 的变化。
• 通过在多个平移版本的图像上生成预测，并利用非极大值抑制（NMS）聚合结果，实施推理时增强（TTA）。
• 评估架构改进措施，如模糊池化（anti-aliasing）和输出特征图分辨率增强，以提升鲁棒性。
• 在 COCO 和 DOTA 数据集上测试模型，以评估摄影师偏见对平移方差的影响。
• 在基于锚点和无锚点设置下，使用标准目标检测模型（RetinaNet、Faster R-CNN、CenterNet）以确保广泛适用性。

实验结果

研究问题

• RQ1 现代目标检测器对微小图像平移（甚至小至一像素）的敏感程度如何？
• RQ2 一阶段与两阶段检测器之间，以及基于锚点与无锚点架构之间，平移方差有何差异？
• RQ3 现有技术如模糊池化、特征图分辨率增强或推理时增强，能否有效降低目标检测中的平移方差？
• RQ4 COCO 等数据集中存在的摄影师偏见是否显著影响平移等变性？
• RQ5 是否可以利用推理时增强来挖掘平移方差，从而提升检测性能？

主要发现

• 所有测试的目标检测器——RetinaNet、Faster R-CNN 和 CenterNet——在发生一像素平移时均表现出显著的性能下降，ΔAP 值在不同模型与数据集间介于 2.2 至 8.1 之间。
• 在 COCO 数据集上，CenterNet 的 ΔAP = 3.4 且 ΔAP₅₀ = 8.1，表明其对微小平移具有极强的敏感性。
• 模糊池化在一类检测器（一阶段与两阶段）中均使 ΔAP 降低约 30%，表明其在提升鲁棒性方面具有可测量的改善效果。
• 增强输出特征图分辨率可带来微小但一致的 ΔAP₅₀ 改善，表明其对平移等变性具有边际益处。
• 在 DOTA 航拍图像数据集（无摄影师偏见）上，模型仍表现出显著的平移方差，表明该问题并非主要由数据集偏见引起。
• 推理时增强可使 CenterNet 的 mAP 提升最多 1.0（AP）和 2.2（AP₅₀），表明平移方差可被利用以提升性能，但代价是推理时间增加。