[論文レビュー] StrObe: Streaming Object Detection from LiDAR Packets

Davi Frossard, Simon Su+4 more|arXiv (Cornell University)|Nov 12, 2020

Advanced Neural Network Applications参考文献 30被引用数 8

ひとこと要約

StrObeは、複数スケールの空間メモリを用いてシーンの文脈を維持するストリーミングLiDARオブジェクト検出フレームワークを提案する。個々のLiDARパケットをリアルタイムに処理することで、エンドツーエンドの遅延を21msに抑え、フルスキャンベースライン比6倍の高速化を達成しながら、ストリーミングおよび従来のフルスキャン設定の両方で最先端の性能を維持または上回る。

ABSTRACT

Many modern robotics systems employ LiDAR as their main sensing modality due to its geometrical richness. Rolling shutter LiDARs are particularly common, in which an array of lasers scans the scene from a rotating base. Points are emitted as a stream of packets, each covering a sector of the 360° coverage. Modern perception algorithms wait for the full sweep to be built before processing the data, which introduces an additional latency. For typical 10Hz LiDARs this will be 100ms. As a consequence, by the time an output is produced, it no longer accurately reflects the state of the world. This poses a challenge, as robotics applications require minimal reaction times, such that maneuvers can be quickly planned in the event of a safety-critical situation. In this paper we propose StrObe, a novel approach that minimizes latency by ingesting LiDAR packets and emitting a stream of detections without waiting for the full sweep to be built. StrObe reuses computations from previous packets and iteratively updates a latent spatial representation of the scene, which acts as a memory, as new evidence comes in, resulting in accurate low-latency perception. We demonstrate the effectiveness of our approach on a large scale real-world dataset, showing that StrObe far outperforms the state-of-the-art when latency is taken into account, and matches the performance in the traditional setting.

研究の動機と目的

• フルスキャンの蓄積によって最大100msの遅延が生じるLiDARベースのロボティクス認識分野において、その遅延問題を解決すること。
• 完全な360°スキャンを待たずに、部分的で逐次的なLiDARパケットから正確なオブジェクト検出を可能にすること。
• 過去の計算を再利用してシーンの一貫性を維持し、断片的な観測でも検出性能を向上させるメモリ拡張モデルの開発。
• ストリーミング認識を評価するための新しいベンチマーク、PacketATG4Dを導入。100Hzで高精度なアノテーションが付与されたパケットレベルのLiDARデータを含む。
• バッファリングや処理遅延が引き起こす実世界の性能低下を定量的に測定するための遅延に配慮したmAP指標を提案すること。

提案手法

• 入力されるLiDARパケットを効率的な空間処理のためのビア・アイ・ビュー（BEV）特徴グリッドにボクセル化する。
• 現在観測中の領域のみを処理する軽量な畳み込みバックボーンを採用し、パケットあたりの計算量を最小限に抑える。
• 各新しいパケットごとに段階的に更新される複数スケールの空間メモリモジュールを導入し、恒久的なシーン表現として機能させる。
• 学習可能な畳み込み演算を用いて過去の観測を統合し、メモリを更新することで、過去の計算の効率的再利用を実現する。
• ストリーミング形式でデータを処理：各パケットは到着と同時に即座に処理され、エンドツーエンドで21ms以内に検出結果を出力する。
• 高解像度のHDマップを補助入力として活用するが、モデルはそれなしでも頑健に動作し、性能向上の主役はメモリであることが示された。

実験結果

リサーチクエスチョン

• RQ1 フルスキャンを待たずに個々のパケットを処理することで、LiDARからのオブジェクト検出を最小限の遅延で行うことは可能か？
• RQ2 オブジェクトが複数の部分的LiDAR観測にまたがる状況でも、モデルは検出精度をどのように維持できるか？
• RQ3 バッファリングや処理遅延が実世界の検出性能に与える影響は何か？ そして、その影響をどのように定量的に測定できるか？
• RQ4 学習可能な空間メモリは、複数の部分的観測からの証拠を効果的に統合し、ストリーミングデータにおける検出性能を向上させることができるか？
• RQ5 リアルタイムの遅延を考慮した場合、ストリーミング検出の性能は従来のフルスキャン検出と比べてどの程度か？

主な発見

• StrObeはエンドツーエンド遅延21ms（パケット蓄積10ms、推論11ms）を達成し、フルスキャンベースライン（128ms）の6倍の高速化を実現した。
• PacketATG4Dベンチマークにおいて、ストリーミング設定で車両のmAPが91.8%、歩行者のmAPが80.5%、自転車のmAPが80.3%を達成し、すべてのベースラインを上回った。
• パケットストリーミング設定とフルスキャン設定の間で性能にほぼ差がなく（例：車両のmAPが91.8%）、提案手法を用いることで遅延コストが最小限に抑えられていることが示された。
• アブレーションスタディの結果、複数スケールの空間メモリが極めて重要であることが判明。これを除去するとmAPが15ポイント以上低下するが、アテンションベースのメモリは学習可能な畳み込み統合に比べて劣っている。
• HDマップの有効性はわずかに向上させるが、必須ではない。これを除去しても性能低下はわずかであり、メモリの中心的役割が裏付けられた。
• 定性的な結果から、StrObeは完全な点群が可視化される前からオブジェクトを検出でき、新しい点が到着するたびに検出結果を更新できることを示し、断片的な観測に対しても高い頑健性を示した。