[論文レビュー] LiDAR-based 4D Occupancy Completion and Forecasting

Xinhao Liu, Moonjun Gong+5 more|arXiv (Cornell University)|Oct 17, 2023

Advanced Neural Network Applications被引用数 7

ひとこと要約

本稿では、疎な入力から密な再構成、部分的な入力から完全なシーンの補完、3次元から4次元への時間的予測を統合的に扱う、LiDARを用いた4次元占有状態補完と予測（OCF）という統一されたタスクを提案する。著者らは、公に提供されているLiDARデータセット（Lyft, Argoverse, ApolloScape）を統合して作成した大規模なデータセットOCFBenchを提案し、単独の補完や予測タスクと比較して、統合的なモデリングが性能向上をもたらすことを示した。また、大規模な学習にもかかわらず、異なるドメイン間での一般化性能は中程度ではあるが一貫して低下することが明らかになった。

ABSTRACT

Scene completion and forecasting are two popular perception problems in research for mobile agents like autonomous vehicles. Existing approaches treat the two problems in isolation, resulting in a separate perception of the two aspects. In this paper, we introduce a novel LiDAR perception task of Occupancy Completion and Forecasting (OCF) in the context of autonomous driving to unify these aspects into a cohesive framework. This task requires new algorithms to address three challenges altogether: (1) sparse-to-dense reconstruction, (2) partial-to-complete hallucination, and (3) 3D-to-4D prediction. To enable supervision and evaluation, we curate a large-scale dataset termed OCFBench from public autonomous driving datasets. We analyze the performance of closely related existing baseline models and our own ones on our dataset. We envision that this research will inspire and call for further investigation in this evolving and crucial area of 4D perception. Our code for data curation and baseline implementation is available at https://github.com/ai4ce/Occ4cast.

研究の動機と目的

• 自動運転を想定した4次元認識タスクとして、シーン補完と占有状態予測を統合する。
• 3つの核心的課題に取り組む：疎な入力からの密な再構成、部分的な入力からの完全な補完、3次元から4次元への予測。
• 教師付き学習と評価に適した、高品質なグランドトゥルースを備えた大規模かつキュレートされたデータセット（OCFBench）を提供する。
• ベースラインモデルの評価を通じて、OCFタスクの実現可能性と難易度を示す。
• LiDARを用いた統合的4次元シーン理解に関する今後の研究を促進する。

提案手法

• Lyft, Argoverse, ApolloScapeといった公的自動運転データセットを統合し、複数回のLiDARスイープをアグリゲート・ボクセル化することで、密で時間的に整合性のあるグランドトゥルースを生成する。
• 自己移動補正（egomotion）の影響を軽減するため、座標の統一を適用し、モデルが自己移動ではなく環境の動的変化に注目できるようにする。
• 時間的連続性を持つEuler形式のボクセル表現を用いて、時間軸に沿ったスパースなLiDARスイープ（t=-T から t=0）を入力とし、時間的に拡張された密な占有グリッド（t=0 から t=T）を予測するマルチステージフレームワークを設計する。
• 深度レンダリングバイアスを避けるために、単一フレームの代理表現に依存せず、複数スイープのアグリゲートを教師信号として用いる。
• 入力・出力の時間系列長やアーキテクチャの複雑さを変化させた、PCF、ConvLSTM、Conv3Dといったベースラインモデルを実装する。
• 推論時適応とドメイン間評価を適用し、センサーシステムや環境の違いにわたる一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 統一された4次元認識フレームワークは、独立したアプローチと比較して、シーン補完と占有状態予測をより効果的に同時にモデル化できるか？
• RQ2 大規模な学習を行っても、LyftのようなセンサーシステムからArgoverseやApolloScapeへのドメイン移行において、モデル性能はどの程度低下するか？
• RQ3 4次元占有状態予測において、モデルの性能（mIoU, mAP）と計算コスト（MACs, メモリ使用量, 推論時間）のトレードオフはどのようなものか？
• RQ4 既存の3次元シーン補完や3次元予測モデルは、アーキテクチャの再設計なしに、新しいOCFタスクにどの程度適応可能か？
• RQ5 センサーシステムの設定や環境の複雑さの変化に対して、OCFタスクの定式化はどの程度頑健か？

主な発見

• 既存のモデルを拡張した場合の性能低下から、OCFタスクは独立したSSCや予測タスクと比較して著しく複雑性が高まっていることが示された。
• ドメイン間一般化性能に顕著な低下が見られた：PCFのmIoUはOCFBench-Argoverseで54.05から45.75に、OCFBench-ApolloScapeでは59.61から50.19に低下した。これは、OCFBench-Lyftのデータ量がArgoverseの2倍、ApolloScapeの4倍あるにもかかわらず顕著な低下である。
• Conv3Dアーキテクチャは最高のmIoUとmAPを達成したが、計算コストも最も高く、6.51 TFLOPsのMACs、34Mパラメータ、23GBのメモリ使用量を要した。
• ConvLSTMは性能と効率のバランスに優れており、時間系列長に依存しない一定のパラメータ数を維持するため、リアルタイムデプロイメントに適している。
• PCFベースラインはドメイン間で強い一般化性能を示したが、依然として顕著な性能低下を示しており、ドメイン不変表現の必要性が示唆された。
• 異なるセンサーシステムにおいてモデル性能はほとんど変化しなかったことから、適切に教師付き学習が行われていれば、OCFタスクはセンサーバリエーションに対して頑健であることが示されたが、ドメインギャップは依然として主な課題である。