[論文レビュー] SuperFusion: Multilevel LiDAR-Camera Fusion for Long-Range HD Map Generation

Hao Dong, Weihao Gu+6 more|arXiv (Cornell University)|Nov 28, 2022

Advanced Neural Network Applications被引用数 10

ひとこと要約

SuperFusionは、入力レベル、特徴量レベル、BEVレベルの3段階の融合を用いるLiDAR-カメラ統合ネットワークを提案し、90メートルまでの長距離HDマップ生成を向上させる。LiDARの深度を用いてカメラのBEV変換を監視し、画像特徴を用いたクロスアテンションにより長距離LiDAR特徴予測をガイドすることで、画像の深度推定を向上させる。nuScenesおよび独自のデータセットにおいて最先端の性能を達成し、長距離シナリオでのパスプランニング成功率が72%に達する。

ABSTRACT

High-definition (HD) semantic map generation of the environment is an essential component of autonomous driving. Existing methods have achieved good performance in this task by fusing different sensor modalities, such as LiDAR and camera. However, current works are based on raw data or network feature-level fusion and only consider short-range HD map generation, limiting their deployment to realistic autonomous driving applications. In this paper, we focus on the task of building the HD maps in both short ranges, i.e., within 30 m, and also predicting long-range HD maps up to 90 m, which is required by downstream path planning and control tasks to improve the smoothness and safety of autonomous driving. To this end, we propose a novel network named SuperFusion, exploiting the fusion of LiDAR and camera data at multiple levels. We use LiDAR depth to improve image depth estimation and use image features to guide long-range LiDAR feature prediction. We benchmark our SuperFusion on the nuScenes dataset and a self-recorded dataset and show that it outperforms the state-of-the-art baseline methods with large margins on all intervals. Additionally, we apply the generated HD map to a downstream path planning task, demonstrating that the long-range HD maps predicted by our method can lead to better path planning for autonomous vehicles. Our code has been released at https://github.com/haomo-ai/SuperFusion.

研究の動機と目的

• 既存のHDマップ生成手法が30m以内の短距離マップしか生成できないという制限を解消し、自動運転における滑らかで安全なパスプランニングを妨げる要因を除去すること。
• LiDARとカメラデータの相補的な強みを活かした、頑健で多段階の統合フレームワークを構築し、正確で長距離のセマンティックマップ予測を実現すること。
• 長距離HDマップが、下流のパスプランニングおよびモーション制御性能を顕著に向上させることを実証すること。
• 今後の長距離HDマップ生成分野の研究を支援するため、コードと新規に自ら収集したデータセットを公開すること。

提案手法

• LiDARとカメラデータを3段階で統合：LiDAR点群を画像空間に投影し、LiDAR深度を用いてカメラからBEVへの変換を監視する入力レベルの統合。
• 画像特徴を用いて長距離LiDAR BEV特徴予測をガイドするクロスアテンション機構を採用し、LiDARデータが疎な遠方領域におけるセマンティックの一貫性を向上させる。
• 誤った深度推定やセンサ間の外挿パラメータの誤差によって生じるズレを是正するBEVアライメントモジュールを採用。
• 学習可能なアテンション機構を用いてカメラとLiDARのBEV特徴をアライメント・統合するBEVレベルの統合戦略を統合。
• エンコーダ-デコーダ構造を有するマルチステージネットワークアーキテクチャを採用し、画像特徴によってガイドされたLiDAR BEV特徴の補完を実現。
• オリジナルの深度値を保持したスパarsな深度マップを入力チャネルとして統合し、画像ベースの特徴学習に正確な深度事前知識を提供。

Figure 1 : Long-range HD map generation for path planning. The red car represents the current position of the car, and the blue star is the goal. The upper figure shows that the baseline method only generates short-range HD maps, leading to lousy planning results. The lower one shows that our SuperF

実験結果

リサーチクエスチョン

• RQ1 LiDARとカメラデータの多段階統合により、通常の30m制限を超えた長距離HDマップ生成が向上するか？
• RQ2 画像によってガイドされたLiDAR特徴予測は、LiDARデータが疎な遠方領域におけるセマンティックの一貫性をどのように向上させるか？
• RQ3 センサのキャリブレーションや深度推定に不正確さがある場合、BEV特徴アライメントがマップ精度に与える影響は何か？
• RQ4 長距離HDマップは、自動運転における下流のパスプランニング性能をどの程度向上させるか？
• RQ5 SuperFusionは、短距離および長距離マップ生成の両タスクにおいて、最先端の手法と比較してどの程度優れているか？

主な発見

• SuperFusionは長距離シナリオ（30–90 m）で72%のパスプランニング成功率を達成し、HDMapNet（45%）やBEVFusion（49%）を大きく上回った。
• nuScenesおよび自作データセットの両方で、すべての評価区間において最先端のベースラインを上回り、短距離および長距離マップ生成の両方で大きな差を示した。
• クロスアテンションモジュールを削除すると顕著な性能低下が生じ、長距離LiDAR特徴予測をガイドする上でそのモジュールが極めて重要な役割を果たしていることが確認された。
• BEVアライメントモジュールは、深度推定や外挿パラメータに不正確さがあるシナリオでも、ベースラインよりマップ精度を向上させた。
• オリジナルの深度値を保持したスパース深度マップを入力チャネルに追加した場合が最良の性能を示し、ビンベースの深度や別々のエンコーダーを用いる手法を上回った。
• カーブを含むシーンでは、ベースラインよりさらに顕著な改善が見られ、複雑な道路形状の予測において本手法の有効性が裏付けられた。

Figure 2 : Pipeline overview of SuperFusion. Our method fuses camera and LiDAR data in three levels: the data-level fusion fuses depth information from LiDAR to improve the accuracy of image depth estimation, the feature-level fusion uses cross-attention for long-range LiDAR BEV feature prediction w