[論文レビュー] Re-Evaluating LiDAR Scene Flow for Autonomous Driving

Nathaniel Chodosh, Deva Ramanan+1 more|arXiv (Cornell University)|Apr 4, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

この論文は自己教師付きLiDARシーンフローのベンチマークを再評価し、合成データセット（例：stereoKITTI）では最先端の学習ベース手法が実世界のデータでは性能を発揮しないことを明らかにした。実世界のデータセット（Waymo、Argoverse、NuScenes）において、自己車両運動推定、床面除去、テスト時最適化を組み合わせた学習不要のベースライン（ICPを用いる）が、全評価手法を上回る性能を示した。

ABSTRACT

Popular benchmarks for self-supervised LiDAR scene flow (stereoKITTI, and FlyingThings3D) have unrealistic rates of dynamic motion, unrealistic correspondences, and unrealistic sampling patterns. As a result, progress on these benchmarks is misleading and may cause researchers to focus on the wrong problems. We evaluate a suite of top methods on a suite of real-world datasets (Argoverse 2.0, Waymo, and NuScenes) and report several conclusions. First, we find that performance on stereoKITTI is negatively correlated with performance on real-world data. Second, we find that one of this task's key components -- removing the dominant ego-motion -- is better solved by classic ICP than any tested method. Finally, we show that despite the emphasis placed on learning, most performance gains are caused by pre- and post-processing steps: piecewise-rigid refinement and ground removal. We demonstrate this through a baseline method that combines these processing steps with a learning-free test-time flow optimization. This baseline outperforms every evaluated method.

研究の動機と目的

• 広く用いられている自己教師付きLiDARDシーンフローのベンチマーク（例：stereoKITTI や FlyingThings3D）が、実世界の自動走行研究を的確に導く有効性を調査すること。
• 現在のベンチマーク設計における欠陥を同定すること——具体的には、現実的でない動的運動パターン、人工的な対応関係、代表的でない動的対静的比——これらが性能評価を歪めることを明らかにすること。
• 最先端の学習ベースのシーンフロー手法を実世界のデータセット（Argoverse 2.0、Waymo、NuScenes）で評価し、その実世界への一般化能力を検証すること。
• 自己車両運動推定（ICPを用いた）、床面除去、および分塊剛体補正といった前処理・後処理ステップが、学習ベースのコンponentよりも性能向上に寄与していることを示すこと。
• 訓練データを一切使用しないデータレスベースライン手法を提案・検証し、その手法が訓練データなしで最先端の性能を達成することを示すこと。

提案手法

• 自己車両運動推定に反復最密点法（ICP）を用い、実世界データにおいてすべての学習ベースの自己車両運動予測器を上回ることを示した。
• 学習済みの床面分離モデルを適用し、フローエstimatationの前処理として静的床面点を特定・除去することで、ノイズを低減し、精度を向上させた。
• 推論後処理として、推定フローに分塊剛体制約を課すテスト時最適化戦略を実装し、学習を一切行わず結果を精緻化した。
• ICPを用いた自己車両運動補正、床面除去、分塊剛体補正を統合した1つのベースラインパイプラインを構築し、訓練データを一切必要としない。
• 高さマップ推定に座標ネットワークを用い、床面分離の精度とフローエstimatationにおける空間的一致性を向上させた。
• 動的点の終点誤差（EPE）を主指標として、実世界データセット上でベースラインと10以上の最先端自己教師付き手法を評価した。

Figure 1 : Recent self-supervised scene flow methods [ 60 , 30 , 26 , 17 ] typically focus on performance on stereoKITTI [ 35 ] . We call attention to several problematic aspects of its semi-synthetic construction. When evaluated on real-world datasets (Waymo, Argoverse, NuScenes) we find a negative

実験結果

リサーチクエスチョン

• RQ1 stereoKITTIのような合成ベンチマークで高い性能を示すことは、Waymo や Argoverse、NuScenes などの実世界LiDARシーンフローデータセットでも優れた性能を示すと相関するのか？
• RQ2 古典的最適化と前処理／後処理に依存する学習不要の手法が、実世界データにおいて最先端の自己教師付き学習ベースのシーンフローモデルを上回ることができるのか？
• RQ3 前処理（例：床面除去）や後処理（例：分塊剛体補正）が、学習ベースのコンponentと比較してどれほど性能向上に寄与しているのか？
• RQ4 現在のベンチマーク（stereoKITTI や FlyingThings3D）が、自動走行シナリオにおけるLiDARシーンフローの真の課題を反映していないのはなぜか？
• RQ5 現代の学習ベースのシーンフローモデルの性能は、主にアーキテクチャの革新に起因しているのか、それとも効果的な古典的幾何学的・最適化技術の活用に起因しているのか？

主な発見

• stereoKITTIにおける性能と実世界データセット（Argoverse、Waymo、NuScenes）における性能の間には負の相関関係が存在する：stereoKITTIで最も優れた性能を示す手法が、実世界データでは一貫して劣る性能を示した。
• ICPは、自己車両運動予測を目的として明示的に設計されたすべての学習ベースの手法を、実世界データにおいて上回った。
• ICP、床面除去、テスト時における分塊剛体最適化を組み合わせた本研究が提案する学習不要のベースラインは、すべての実世界データセットで、全評価済みの自己教師付き手法を上回った。
• NuScenesデータセットでは、動的点の終点誤差（EPE）が0.158 mに達し、最先端の自己教師付き手法であるSLIMの報告された最高性能（0.172 m）を上回った。
• lidarKITTIベンチマークでは、本ベースラインは自己教師付きおよび弱教師付き手法のうち1つを除きすべてを上回り、訓練データなしにもかかわらず優れた一般化性能を示した。
• 床面分離は、NuScenesで99.3%、Waymoで99.4%の精度を達成し、動的点の1%未満が誤って床面と誤分類された。非平面な地形に対しても高い耐性を示した。

Figure 2 : The correlation between performance on stereoKITTI and performance on real datasets as a function of how much those datasets violate the one-to-one correspondence assumption present in stereoKITTI. The more a dataset violates this assumption (higher chamfer distance due to sparser pointcl