[論文レビュー] Streaming Object Detection for 3-D Point Clouds

Wei Han, Zhengdong Zhang+8 more|arXiv (Cornell University)|May 4, 2020

Advanced Neural Network Applications参考文献 65被引用数 6

ひとこと要約

本論文は、到着するデータを段階的に処理するストリーミングオブジェクト検出フレームワークを提案し、従来のバッチ処理と比較して遅延を最大15倍まで低減する。1段階検出アーキテクチャに局所的受容 field、状態保持型 NMS、および再帰的時系列モデリングを統合することで、ピーク計算負荷を著しく低減し、推論効率を向上させながら、最先端の mAP（歩行者で60.1）を達成した。

ABSTRACT

Autonomous vehicles operate in a dynamic environment, where the speed with which a vehicle can perceive and react impacts the safety and efficacy of the system. LiDAR provides a prominent sensory modality that informs many existing perceptual systems including object detection, segmentation, motion estimation, and action recognition. The latency for perceptual systems based on point cloud data can be dominated by the amount of time for a complete rotational scan (e.g. 100 ms). This built-in data capture latency is artificial, and based on treating the point cloud as a camera image in order to leverage camera-inspired architectures. However, unlike camera sensors, most LiDAR point cloud data is natively a streaming data source in which laser reflections are sequentially recorded based on the precession of the laser beam. In this work, we explore how to build an object detector that removes this artificial latency constraint, and instead operates on native streaming data in order to significantly reduce latency. This approach has the added benefit of reducing the peak computational burden on inference hardware by spreading the computation over the acquisition time for a scan. We demonstrate a family of streaming detection systems based on sequential modeling through a series of modifications to the traditional detection meta-architecture. We highlight how this model may achieve competitive if not superior predictive performance with state-of-the-art, traditional non-streaming detection systems while achieving significant latency gains (e.g. 1/15'th - 1/3'rd of peak latency). Our results show that operating on LiDAR data in its native streaming formulation offers several advantages for self driving object detection -- advantages that we hope will be useful for any LiDAR perception system where minimizing latency is critical for safe and efficient operation.

研究の動機と目的

• 完全なLiDARスキャン完了による人工的な遅延を排除するため、点群をストリーミングデータとして処理すること。
• スキャン時間全体にわたって推論を分散させることで、ピーク計算負荷を低減すること。
• 非ストリーミングベースラインと比較して、検出精度（mAP）を維持または向上させること。
• 自律走行車両のリアルタイムかつ低遅延の認識を、ネイティブなLiDARデータストリーミングを用いて実現すること。
• 制限された計算リソース下で、ストリーミングアーキテクチャが非ストリーミングモデルを上回ることを示すこと。

提案手法

• 1回のスキャンあたり4〜64スライス程度の時間的スライスに分割して、360°回転が完了するのを待たずに点群を段階的に処理する。
• 現在および最近のスキャンセグメントに限定された局所的受容 field を適用し、空間的文脈を制限することで、計算負荷を低減する。
• スライス間で検出履歴を保持する状態保持型非最大抑制（NMS）を導入し、トラッキングの一貫性を向上させる。
• 再帰的ニューラルネットワーク（RNN）を組み込み、時系列状態をモデリングし、時間経過に伴う検出安定性を向上させる。
• 特徴マップの解像度や隠れユニット数を増やすことでモデル容量を拡大しつつ、ストリーミング推論を維持する。
• スキャン時間にわたって計算をパイプライン化し、ピークFLOPSを低減し、低遅延推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 LiDARデータのネイティブなストリーミング特性を活用することで、3次元LiDAR点群のオブジェクト検出を著しく遅延を低減して行えるか？
• RQ2 時系列モデリングと状態保持型処理は、ストリーミング環境下で検出精度と一貫性をどのように向上させるか？
• RQ3 ストリーミングモデルは、ピーク計算リソースの僅か数分の1で、非ストリーミングベースラインと同等または優れたmAPを達成できるか？
• RQ4 標準的な検出メタアーキテクチャをストリーミング推論に適応させるために、どのようなアーキテクチャ的変更が必要か？
• RQ5 同じ計算リソース予算下で、ストリーミング環境下でのモデルスケーリングは、非ストリーミング性能をどの程度上回れるか？

主な発見

• ストリーミングモデルは歩行者で60.1 mAPを達成し、非ストリーミングベースラインの54.9 mAPを上回った。
• 車両では、ストリーミングモデルが51.0 mAPを達成し、非ストリーミングベースラインと同等の精度を維持しながら、遅延を低減した。
• 予想される検出遅延は、ベースラインの約120 msから約30 msにまで低下し、4倍の短縮（ピーク遅延の1/15）を達成した。
• ピーク計算負荷は、非ストリーミングベースラインの最大で1/10まで低減され、性能は維持または向上した。
• 非ストリーミングモデルのピークFLOPSのわずか1/3のリソースでも、状態保持型RNNおよびNMSバージョンは高い精度を維持し、3倍以上の遅延短縮を達成した。
• より大きなストリーミングモデルは、非ストリーミングベースラインを精度面で上回り（例：60.1 vs 54.9 mAP）、ピークFLOPSは非ストリーミングモデルの1/2.25にまで低減した。