[論文レビュー] Analyzing General-Purpose Deep-Learning Detection and Segmentation Models with Images from a Lidar as a Camera Sensor

Xianjia Yu, Sahar Salimpour+2 more|arXiv (Cornell University)|Mar 8, 2022

Advanced Optical Sensing Technologies被引用数 5

ひとこと要約

本論文は、ライダーをカメラとして扱うことで、ライダー・センサーから生成された低解像度の360°画像に対して汎用的ディーブラーニングモデル（オブジェクト検出器およびインスタンス／セマンティック・セグメンテーション・モデル）を評価している。適切な前処理を施すことで、YOLOx や HRNet といったモデルは優れた性能を示す（例：屋内での人物検出精度が95.3％）。これは、ライダー由来の画像が、困難な環境下でも堅牢な認識を実現するための成熟したビジョンベースのディーブラーニング・モデルを効果的に活用できることを示している。

ABSTRACT

Over the last decade, robotic perception algorithms have significantly benefited from the rapid advances in deep learning (DL). Indeed, a significant amount of the autonomy stack of different commercial and research platforms relies on DL for situational awareness, especially vision sensors. This work explores the potential of general-purpose DL perception algorithms, specifically detection and segmentation neural networks, for processing image-like outputs of advanced lidar sensors. Rather than processing the three-dimensional point cloud data, this is, to the best of our knowledge, the first work to focus on low-resolution images with 360 extdegree field of view obtained with lidar sensors by encoding either depth, reflectivity, or near-infrared light in the image pixels. We show that with adequate preprocessing, general-purpose DL models can process these images, opening the door to their usage in environmental conditions where vision sensors present inherent limitations. We provide both a qualitative and quantitative analysis of the performance of a variety of neural network architectures. We believe that using DL models built for visual cameras offers significant advantages due to the much wider availability and maturity compared to point cloud-based perception.

研究の動機と目的

• RGB画像を対象に設計された汎用的ディーブラーニング・モデルが、360°のライダー由来画像に効果的に適用可能かどうかを調査すること。
• 最新のオブジェクト検出およびセグメンテーション・モデルが、低解像度で深度符号化されたライダー画像上でどの程度の性能を示すかを評価すること。
• ライダー・センサーが、幾何的ポイントクラウドの提供に加え、カメラに似た画像を提供する二重の役割を追加のハードウェアを用いずに果たせるかどうかを検証すること。
• ライダー画像を入力として使用する際の前処理の影響が、モデルの性能に与える影響を評価すること。
• 事前学習済みビジョン・モデルをライダーに基づく認識に再利用可能かどうかを検討し、専用のポイントクラウド学習フレームワークへの依存を減らすことを目的とする。

提案手法

• 昼間と夜間の屋内および屋外環境で、異なる視野角と範囲を持つ2台の Ouster ライダーを用いて、360°のライダー画像を収集した。
• 標準的なビジョンベースのディーブラーニング・モデルとの互換性を高めるために、低解像度のライダー画像を補間処理することで空間解像度を向上させた。
• 1段階および2段階の検出アーキテクチャを有する4つのオブジェクト検出モデル（Faster R-CNN、Mask R-CNN、YOLOv5、YOLOx）を評価した。
• ResNet-50 をバックボーンとして使用する3つのインスタンスおよびセマンティック・セグメンテーション・モデル（HRNet、PointRend、Mask R-CNN）を評価した。
• 実世界のシーンを対象に、正確度、再現率、検出正確度などの指標を用いて定性的および定量的分析を実施した。
• すべての実験データと結果を公開用の GitHub リポジトリにリリースし、再現性およびさらなるベンチマークのための基盤を提供した。

実験結果

リサーチクエスチョン

• RQ1 RGB画像で学習された汎用的ディーブラーニング・モデルは、低解像度で360°のライダー由来画像において、オブジェクトを効果的に検出・セグメンテーションできるか？
• RQ2 YOLOv5、YOLOx、Faster R-CNN、Mask R-CNN の性能は、屋内および屋外環境におけるライダーをカメラとして扱った画像に適用した際、どのように比較されるか？
• RQ3 補間などの前処理が、これらのモデルの検出およびセグメンテーション正確度に与える影響は何か？
• RQ4 HRNet や PointRend といったセマンティックおよびインスタンス・セグメンテーション・モデルは、従来のポイントクラウド手法と比較して、ライダー生成画像上でどの程度の性能を示すか？
• RQ5 事前学習済みビジョン・モデルをライダーに基づく認識にどの程度再利用可能か。これにより、専用のポイントクラウド学習フレームワークへの依存をどの程度減らせるか？

主な発見

• YOLOx が最高の検出性能を示し、屋内では95.3％の人物が検出された。屋外では63.3％の人物が検出された。
• すべてのモデルが屋外で80％以上の車両、屋内では80％以上の人物を検出しており、多様な条件下でも優れたベースライン性能が確認された。
• YOLOv5 と YOLOx は、ストップ・サイン、消火栓、ハンドバッグなどの追加のオブジェクトクラスについても同等の正確度を示したが、表では完全に数値化されていない。
• HRNet は、定性的な例示において、屋内および屋外の両方のシーンで高品質なセマンティック・セグメンテーション結果を生成した。
• PointRend と Mask R-CNN は、複雑なシーンにおける明確なオブジェクト境界予測を示し、有望なインスタンス・セグメンテーション性能を示した。
• 本研究では、補間による前処理が、低解像度のライダー画像におけるモデル性能を顕著に向上させることを確認した。これにより、事前学習済みビジョン・モデルの効果的な利用が可能になった。