[論文レビュー] 360-Indoor: Towards Learning Real-World Objects in 360° Indoor Equirectangular Images

Shih-Han Chou, Cheng Sun+4 more|arXiv (Cornell University)|Oct 3, 2019

Advanced Neural Network Applications参考文献 31被引用数 6

ひとこと要約

本稿では、37種類の一般的な屋内オブジェクトカテゴリをカバーする3,000枚の画像と89,148個のバウンディングフィールドオブビュー（BFoV）アノテーションを備えた、実世界の360°等角円形屋内オブジェクト検出データセット「360-Indoor」を紹介する。このデータセットは、360°オブジェクト検出分野における最先端の性能を実現し、FPNが33.6%のmAPを達成した。また、COCOで事前学習されたモデルと比較して、360-Indoorで微調整したモデルは顕著に検出精度が向上することが示された。

ABSTRACT

While there are several widely used object detection datasets, current computer vision algorithms are still limited in conventional images. Such images narrow our vision in a restricted region. On the other hand, 360° images provide a thorough sight. In this paper, our goal is to provide a standard dataset to facilitate the vision and machine learning communities in 360° domain. To facilitate the research, we present a real-world 360° panoramic object detection dataset, 360-Indoor, which is a new benchmark for visual object detection and class recognition in 360° indoor images. It is achieved by gathering images of complex indoor scenes containing common objects and the intensive annotated bounding field-of-view. In addition, 360-Indoor has several distinct properties: (1) the largest category number (37 labels in total). (2) the most complete annotations on average (27 bounding boxes per image). The selected 37 objects are all common in indoor scene. With around 3k images and 90k labels in total, 360-Indoor achieves the largest dataset for detection in 360° images. In the end, extensive experiments on the state-of-the-art methods for both classification and detection are provided. We will release this dataset in the near future.

研究の動機と目的

• 包括的なベンチマーク評価を可能にする大規模で実世界の360°屋内オブジェクト検出データセットの不足を解消すること。
• 等角円形360°画像におけるオブジェクト検出および分類の評価のための標準化されたベンチマークを提供すること。
• 高いカテゴリ多様性と濃密なアノテーションを備えたデータセットを提供することで、360°ビジョン分野の研究を促進すること。
• 歪みのあるパノラマ画像と現実的なシーンの複雑さを有する画像上でディーブラーニングモデルの評価を可能にすること。
• 球面歪みとフルフィールドコンテキストを適切に処理できる、特別な360°オブジェクト検出器の開発を支援すること。

提案手法

• 著者らは、360°カメラを用いて複雑な屋内シーンから3,000枚の実世界の等角円形画像を収集した。
• 各画像には平均して27個のバウンディングフィールドオブビュー（BFoV）ボックスがアノテートされ、37種類の一般的な屋内オブジェクトカテゴリをカバーした。
• BFoVは球面空間におけるオブジェクトの位置を表現するために用いられ、パノラマ画像における正確な検出を可能にした。
• 一般化性能と実用的妥当性を確保するため、多様で実世界のシーンを含むようにデータセットを構築した。
• 標準的なオブジェクト検出モデル（Faster R-CNN、YOLOv3、FPN）を360-Indoorで微調整し、平均平均精度（mAP）を用いて評価した。
• 球面幾何学に適した代替手法として、SphereNetレイヤー（SphereConv2d、SphereMaxPool2d）を標準的なCNNレイヤーと比較して評価した。

実験結果

リサーチクエスチョン

• RQ1 大規模で実世界の360°屋内オブジェクト検出データセットを用いることで、COCOで事前学習されたモデルと比較して、標準的なオブジェクト検出器の性能が向上するか？
• RQ2 360-Indoorで学習させることで、等角円形画像における最先端の検出器（Faster R-CNN、YOLOv3、FPN）のmAPにどのような影響が生じるか？
• RQ3 360-Indoorから直接計算されたアンカーボックスを用いることで、YOLOv3の性能がCOCOベースのアンカーボックスを用いる場合と比較して向上するか？
• RQ4 球面畳み込みレイヤー（SphereNet）は、標準的な2次元畳み込みと比較して、360°画像におけるオブジェクト検出でどの程度の性能を示すか？
• RQ5 360-Indoorのような多様で高カテゴリ数のデータセットで学習させることで、モデルの一般化能力はどの程度向上するか？

主な発見

• 360-Indoorで学習させることで検出精度が顕著に向上し、テストセットにおいてFPNが33.6%のmAPを達成した。
• Faster R-CNN、YOLOv3、FPNの3つの検出器とも、360-Indoorで微調整した結果、COCOで事前学習されたモデルを上回った。これは、本データセットの有効性を示している。
• YOLOv3の性能は、k-means++を用いて360-Indoorから再計算されたアンカーボックスを採用することで顕著に向上した。これは、データセット固有のアンカーデザインの重要性を示している。
• SphereNetレイヤー（SphereConv2d/SphereMaxPool2d）は、標準的なConv2d/MaxPool2dと比較して性能が劣り、特に事前学習なしで訓練した場合に顕著であった。これは、従来のCNNが既存の検出器とより相性が良いことを示唆している。
• 標準的なConv2dレイヤーにImageNetで事前学習した重みを適用することで、SphereNetを完全から訓練するよりも高い性能が得られた。これは、事前学習の価値を強調している。
• 結果から、360-Indoorはまだ飽和していないことが示され、今後の360°オブジェクト検出分野におけるさらなる向上の余地が広く残っていることがわかった。