[论文解读] 360-Indoor: Towards Learning Real-World Objects in 360° Indoor Equirectangular Images

Shih-Han Chou, Cheng Sun+4 more|arXiv (Cornell University)|Oct 3, 2019

Advanced Neural Network Applications参考文献 31被引用 6

一句话总结

该论文提出了360-Indoor，这是目前规模最大、基于真实场景的360°等距投影室内目标检测数据集，包含3,000张图像和89,148个视场边界框（BFoV）标注，覆盖37种常见室内物体类别。该数据集可实现最先进的360°目标检测性能，其中FPN模型达到33.6%的mAP；实验表明，在360-Indoor上进行训练可显著提升检测精度，优于基于COCO预训练的模型。

ABSTRACT

While there are several widely used object detection datasets, current computer vision algorithms are still limited in conventional images. Such images narrow our vision in a restricted region. On the other hand, 360° images provide a thorough sight. In this paper, our goal is to provide a standard dataset to facilitate the vision and machine learning communities in 360° domain. To facilitate the research, we present a real-world 360° panoramic object detection dataset, 360-Indoor, which is a new benchmark for visual object detection and class recognition in 360° indoor images. It is achieved by gathering images of complex indoor scenes containing common objects and the intensive annotated bounding field-of-view. In addition, 360-Indoor has several distinct properties: (1) the largest category number (37 labels in total). (2) the most complete annotations on average (27 bounding boxes per image). The selected 37 objects are all common in indoor scene. With around 3k images and 90k labels in total, 360-Indoor achieves the largest dataset for detection in 360° images. In the end, extensive experiments on the state-of-the-art methods for both classification and detection are provided. We will release this dataset in the near future.

研究动机与目标

• 为解决缺乏大规模、真实世界360°室内目标检测数据集，以支持全面基准测试的问题。
• 为评估等距投影360°图像中的目标检测与分类提供标准化基准。
• 通过提供类别多样性高且标注密集的数据集，推动360°视觉领域的研究。
• 支持在具有真实场景复杂度和畸变的全景图像上评估深度学习模型。
• 支持开发能够处理球面畸变和全视野上下文信息的专用360°目标检测器。

提出的方法

• 作者使用360°相机从复杂室内场景中收集了3,000张真实世界的等距投影图像。
• 每张图像平均标注了27个视场边界框（BFoV），覆盖37种常见室内物体类别。
• 使用BFoV表示球面空间中的物体位置，从而实现在全景图像中的精确检测。
• 该数据集包含多样化的真实世界场景，以确保模型的泛化能力和实际应用相关性。
• 对标准目标检测模型（Faster R-CNN、YOLOv3、FPN）在360-Indoor上进行微调，并使用平均精度（mAP）进行评估。
• 评估了SphereNet层（SphereConv2d、SphereMaxPool2d）作为标准CNN层的替代方案，以评估其在球面几何结构上的性能。

实验结果

研究问题

• RQ1 与基于COCO预训练的模型相比，大规模真实世界360°室内目标检测数据集是否能提升标准目标检测器的性能？
• RQ2 在360-Indoor上进行训练如何影响Faster R-CNN、YOLOv3和FPN等先进检测器在等距投影图像中的mAP表现？
• RQ3 使用基于360-Indoor计算出的锚框是否能显著提升YOLOv3的性能，相比使用基于COCO的锚框？
• RQ4 与标准2D卷积相比，球面卷积层（SphereNet）在360°图像目标检测中的表现如何？
• RQ5 当在像360-Indoor这样类别数量多、多样性高的数据集上进行训练时，模型的泛化能力提升程度如何？

主要发现

• 在360-Indoor上进行训练可显著提升检测精度，其中FPN在测试集上达到33.6%的mAP。
• 所有三种检测器（Faster R-CNN、YOLOv3、FPN）在微调后均优于其基于COCO预训练的版本，表明该数据集的有效性。
• 当使用k-means++方法从360-Indoor重新计算锚框时，YOLOv3的性能显著提升，凸显了数据集特定锚框设计的重要性。
• SphereNet层（SphereConv2d/SphereMaxPool2d）在性能上表现不如标准Conv2d/MaxPool2d，尤其是在从零开始训练时，表明传统CNN更适配现有检测器架构。
• 在标准Conv2d层上使用ImageNet预训练权重的性能优于从零开始训练SphereNet，突显了预训练的价值。
• 结果表明，360-Indoor尚未达到性能饱和状态，为360°目标检测的未来改进留下了广阔空间。