[論文レビュー] Once Detected, Never Lost: Surpassing Human Performance in Offline LiDAR based 3D Object Detection

Lue Fan, Yuxue Yang+5 more|arXiv (Cornell University)|Apr 24, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文は、物体が一度検出されると、その後の時間経過に関わらず追跡可能であることを保証することで、物体の喪失を防ぐ、トラック中心のオフラインLiDAR 3Dオブジェクト検出システムCTRLを提案する。本手法は、モデルアンサンブルを用いず、Waymo Open Datasetで人間のアノテーション精度を上回り、数百万回の検出において車両の0.48%しか見逃さない。

ABSTRACT

This paper aims for high-performance offline LiDAR-based 3D object detection. We first observe that experienced human annotators annotate objects from a track-centric perspective. They first label the objects with clear shapes in a track, and then leverage the temporal coherence to infer the annotations of obscure objects. Drawing inspiration from this, we propose a high-performance offline detector in a track-centric perspective instead of the conventional object-centric perspective. Our method features a bidirectional tracking module and a track-centric learning module. Such a design allows our detector to infer and refine a complete track once the object is detected at a certain moment. We refer to this characteristic as "onCe detecTed, neveR Lost" and name the proposed system CTRL. Extensive experiments demonstrate the remarkable performance of our method, surpassing the human-level annotating accuracy and the previous state-of-the-art methods in the highly competitive Waymo Open Dataset without model ensemble. The code will be made publicly available at https://github.com/tusen-ai/SST.

研究の動機と目的

• 人間のアノテーション精度を超える高精度なオフラインLiDARベース3Dオブジェクト検出器の開発。
• 時間的整合性を用いて遮蔽されたオブジェクトを推定するなど、人間のアノテータの行動をモデル化すること。
• 一度検出されたオブジェクトが、低点群密度フレームでさえも追跡可能であることを保証することで、オブジェクトの喪失を排除すること。
• 複雑な時間的統合やモデルアンサンブルへの依存を減らしながらも、高い精度を維持するための自動ラベル付与パイプラインの簡素化。

提案手法

• ベース検出器が初期検出を生成した後、単純な運動モデルを用いて双方向追跡モジュールが前向きおよび後向きにトラックを延長し、欠損フレームを埋める。
• トラック中心の学習モジュールが、全トラックにわたってすべてのオブジェクト候補および点群特徴を同時に精緻化し、トラックを個々の検出ではなく、第一級のエンティティとして扱う。
• オブジェクトレベルのマッチングではなく、トラックレベルのマッチング（トラック中心のアサインメント）を採用することで、データアソシエーションのロバスト性を向上させる。
• 任意のトラック整合最適化（TCO）をサポートし、点群登録を用いて、トラック内のすべての予測値を1つの高品質な正例ボックスに一致させる。
• 重い時間的統合やアンサンブル手法を避けることで、最小限の計算オーバーヘッドで効率的な推論を実現する。
• 入力トラック長に上限がないシンプルでスケーラブルな設計となっており、性能向上に顕著な寄与を示す。

実験結果

リサーチクエスチョン

• RQ1 人間のアノテータの行動を模倣することで、オフライン3Dオブジェクト検出器が人間のアノテーション精度を超えることができるか？
• RQ2 トラックを第一級のエンティティとして扱うトラック中心の検出アプローチは、従来のオブジェクト中心のアプローチに比べてより優れた性能を発揮するか？
• RQ3 双方向追跡とトラックレベルの精緻化により、モデルアンサンブルに依存せずに、低点群密度フレームにおけるオブジェクト喪失を低減できるか？
• RQ4 トラック整合最適化は、特に高いIoU閾値において、どの程度検出精度を向上させるか？
• RQ5 モデルアンサンブルや複雑な時間的統合の欠如が、推論効率および性能にどのような影響を与えるか？

主な発見

• CTRLはWaymo Open Datasetの検証スプリットで3D AP 83.9を達成し、3DALが報告した人間レベルの性能を上回り、比較のため100に正規化されている。
• 数百万回の検出において、車両の喪失率は0.48%にとどまり、優れたトラック持続性を示している。
• トラック整合最適化（TCO）を適用すると、IoU=0.8における自転車の3D APが11.6ポイント向上し、準剛体クラスにおける強力な精緻化能力を示している。
• CTRLは3DALの20倍速く、20秒のシーケンスあたりの総推論時間が46秒（3DALは928秒）にまで短縮されている。これは、TTAやアンサンブルに依存しないことによるものである。
• 性能のロードマップから、ベースのオンライン検出器から最終的なオフラインシステムに至るまでの10.9 APポイントの一貫した向上が確認され、双方向追跡とトラック中心の精緻化が主な要因である。
• 本手法は、モデルアンサンブルを用いず、アンサンブルベースの手法を含む、これまでのすべての最先端のオンラインおよびオフライン検出器を上回っている。