[論文レビュー] Multi-View Fusion of Sensor Data for Improved Perception and Prediction in Autonomous Driving

Sudeep Fadadu, Shreyash Pandey+5 more|arXiv (Cornell University)|Aug 27, 2020

Advanced Neural Network Applications被引用数 10

ひとこと要約

本稿では、自動運転における物体検出および軌道予測の性能向上を目的として、LiDARDATとカメラデータのBird's-Eye View (BEV)およびRange-View (RV)表現を統合するマルチビュー融合フレームワークを提案する。LiDARの生データRV特徴量とBEV特徴量をLiDARマッチングを用いて統合し、BEV投影の前段階でカメラデータをRV空間に効率的に統合することで、最小限の計算オーバーヘッドでnuScenesおよび独自データセットにおいて最先端の性能を達成した。

ABSTRACT

We present an end-to-end method for object detection and trajectory prediction utilizing multi-view representations of LiDAR returns and camera images. In this work, we recognize the strengths and weaknesses of different view representations, and we propose an efficient and generic fusing method that aggregates benefits from all views. Our model builds on a state-of-the-art Bird's-Eye View (BEV) network that fuses voxelized features from a sequence of historical LiDAR data as well as rasterized high-definition map to perform detection and prediction tasks. We extend this model with additional LiDAR Range-View (RV) features that use the raw LiDAR information in its native, non-quantized representation. The RV feature map is projected into BEV and fused with the BEV features computed from LiDAR and high-definition map. The fused features are then further processed to output the final detections and trajectories, within a single end-to-end trainable network. In addition, the RV fusion of LiDAR and camera is performed in a straightforward and computationally efficient manner using this framework. The proposed multi-view fusion approach improves the state-of-the-art on proprietary large-scale real-world data collected by a fleet of self-driving vehicles, as well as on the public nuScenes data set with minimal increases on the computational cost.

研究の動機と目的

• 自動運転の周辺認識における単一表現アプローチの限界を解消するため、BEVとRV特徴表現の長所を組み合わせること。
• 統合されたマルチビューセンサデータを用いた、効率的でエンドツーエンドの共同検出と軌道予測を可能にすること。
• 検出と予測タスク間で特徴量を共有することで、システムのレイテンシと誤差伝搬を低減すること。
• RVにおけるネイティブなLiDAR表現を通じて、歩行者や自転車乗りなどの小規模・長距離物体の検出を向上させること。
• 統一されたマルチビュー枠組み内でのカメラとLiDARデータの計算的に効率的な統合を可能にすること。

提案手法

• 本手法は、LiDARデータをBEVおよびRV表現にエンコードし、それぞれ別々に処理した後、共通のBEV空間で統合する。
• 球面投影を用いて生の非量子化LiDARデータをRange-View (RV) 特徴マップに投影し、細粒度の詳細を保持する。
• LiDAR点の対応関係を用いてRV特徴量とBEV特徴量をマッチングさせ、統合前の空間的整合性を確保する。
• カメラRGBデータをBEVへの投影の前段階でRV空間にLiDARと統合することで、効率的なクロスセンサ学習を実現する。
• 統合されたBEV特徴量は、エンドツーエンドの検出と軌道予測のための共有バックボーンネットワークを通過する。
• アーキテクチャはMultiXNetに基づいており、他のBEVまたはRVベースのモデルとも互換性があり、汎用的な性能向上が可能である。

実験結果

リサーチクエスチョン

• RQ1 LiDARデータのBEVとRV表現を統合することで、特に小規模・長距離物体の検出精度が向上するか？
• RQ2 BEVのみの統合と比較して、RV空間におけるLiDARとカメラデータのマルチビュー統合は、検出および予測性能にどのように影響するか？
• RQ3 マルチビュー統合の計算コストはどの程度で、リアルタイムデプロイに耐えうる低レイテンシで達成できるか？
• RQ4 複数のビューからの特徴量統合は、誤差の連鎖的伝搬を低減し、自動運転周辺認識におけるエンドツーエンド性能を向上させるか？
• RQ5 ContFuse や LaserFlow といった最先端モデルと比較して、本手法は精度と推論速度の両面で優れているか？

主な発見

• LC-MV-Liteモデルは、nuScenesデータセットにおいてMultiXNetベースライン比で自転車乗りのmAPが6.5%向上、歩行者のmAPが5.5%向上した。
• LC-MV-Liteモデルは、3秒後の軌道予測誤差（DE@3s）を車両で107cmまで低減し、LaserFlow（143cm）およびContFuseを上回った。
• MultiXNet比で、マルチビューLiDAR統合による推論レイテンシ増加はわずか5ms、カメラ統合による増加はLC-MV-Liteで1msにとどまる一方、ContFuseでは31msの増加を示した。
• 本手法は長距離領域でより顕著な性能向上を示し、MultiXNetとLC-MV-ResNetの比較で、長距離の車両のmAPが5.3%向上した。
• 定性的な結果では、カメラに映っているがBEVオンリーモデルでは検出されなかった長距離のアクターが、本モデルで検出された。
• 強力な検出性能を示す一方、LC-MV-ResNetモデルはレアクラスの自転車乗りの予測性能が低下しており、これはサンプル数が少ないことが主な要因とされる。