[论文解读] Improved Person Detection on Omnidirectional Images with Non-maxima Suppression

Roman Seidel, André Apitzsch+1 more|arXiv (Cornell University)|May 22, 2018

Advanced Neural Network Applications参考文献 19被引用 18

一句话总结

本文提出一种基于YOLOv2的全景图像行人检测方法，通过虚拟视角视图将YOLOv2适配至鱼眼图像。通过反向投影检测结果并应用带有高斯平滑的软性非极大值抑制（soft NMS），该方法在PIROPO数据集上达到64.6%的平均精度，在Flat数据集上达到77.6%，显著优于基线YOLOv2和标准NMS。

ABSTRACT

We propose a person detector on omnidirectional images, an accurate method to generate minimal enclosing rectangles of persons. The basic idea is to adapt the qualitative detection performance of a convolutional neural network based method, namely YOLOv2 to fish-eye images. The design of our approach picks up the idea of a state-of-the-art object detector and highly overlapping areas of images with their regions of interests. This overlap reduces the number of false negatives. Based on the raw bounding boxes of the detector we fine-tuned overlapping bounding boxes by three approaches: non-maximum suppression, soft non-maximum suppression and soft non-maximum suppression with Gaussian smoothing. The evaluation was done on the PIROPO database and an own annotated Flat dataset, supplemented with bounding boxes on omnidirectional images. We achieve an average precision of 64.4 % with YOLOv2 for the class person on PIROPO and 77.6 % on Flat. For this purpose we fine-tuned the soft non-maximum suppression with Gaussian smoothing.

研究动机与目标

• 为解决在全景（180°）鱼眼图像中使用深度学习进行准确行人检测的挑战。
• 克服标准目标检测器在透视图像上训练后直接应用于畸变全景视图时的局限性。
• 通过优化重叠检测结果的后处理，减少误检并提升边界框质量。
• 评估不同非极大值抑制变体在全景图像检测中的有效性。
• 创建并利用一个新的标注数据集（Flat），并使用PIROPO数据库作为基准测试。

提出的方法

• 通过小步长采样方位角和仰角，从全景图像生成高度重叠的虚拟透视视图。
• 对每个虚拟透视视图应用YOLOv2，以获得原始检测边界框。
• 将检测到的边界框从透视坐标系反向投影至原始全景图像坐标系。
• 应用三种后处理方法：标准NMS、软性NMS以及带有高斯平滑的软性NMS，以优化重叠检测结果。
• 采用交并比（IoU）评估，阈值为0.5，遵循PASCAL VOC标准。
• 基于置信度分数和IoU重叠程度，对抑制方法进行微调，以最小化冗余和过大的边界框。

实验结果

研究问题

• RQ1 当YOLOv2直接应用于未适配的全景图像时，其行人检测性能会如何退化？
• RQ2 虚拟透视视图在多大程度上能提升全景图像上的检测准确率？
• RQ3 在全景数据上，标准NMS、软性NMS以及带有高斯平滑的软性NMS中，哪种变体的检测性能最佳？
• RQ4 在不同数据集上（特别是PIROPO和新创建的Flat数据集）的检测结果如何比较？
• RQ5 镜头畸变和轴线平行性丧失对全景检测中边界框质量有何影响？

主要发现

• 在PIROPO数据集上，带有高斯平滑的软性非极大值抑制（Soft-NMS with Gaussian smoothing）在行人类别上实现了最高的平均精度（64.6%）。
• 在新创建的Flat数据集上，该方法达到77.6%的平均精度，优于所有其他NMS变体。
• YOLOv2直接应用于全景图像（NMS Omni）仅获得41.4%的平均精度，表明未适配时性能显著下降。
• 软性NMS结合高斯平滑的PR曲线在大多数召回水平上表现更优，尤其在召回率0.35至0.75之间，保持了较高的精确率。
• 标准NMS与软性NMS的PR曲线几乎完全一致，仅在低精确率区域（<0.2）存在微小差异。
• 该方法通过利用重叠的虚拟视图，有效减少了误检，提高了在多个投影中检测到行人的可能性。