[論文レビュー] ContrastAlign: Toward Robust BEV Feature Alignment via Contrastive Learning for Multi-Modal 3D Object Detection

Ziying Song, Hongyu Pan+9 more|arXiv (Cornell University)|May 27, 2024

Advanced Neural Network Applications被引用数 7

ひとこと要約

ContrastAlignはクロスモーダル対比学習を用いてLiDARとカメラのBEV特徴を整合させ、誤配列ノイズの下での堅牢なマルチモーダル3D物体検出の性能を向上させる。

ABSTRACT

In the field of 3D object detection tasks, fusing heterogeneous features from LiDAR and camera sensors into a unified Bird's Eye View (BEV) representation is a widely adopted paradigm. However, existing methods often suffer from imprecise sensor calibration, leading to feature misalignment in LiDAR-camera BEV fusion. Moreover, such inaccuracies cause errors in depth estimation for the camera branch, aggravating misalignment between LiDAR and camera BEV features. In this work, we propose a novel ContrastAlign approach that utilizes contrastive learning to enhance the alignment of heterogeneous modalities, thereby improving the robustness of the fusion process. Specifically, our approach comprises three key components: (1) the L-Instance module, which extracts LiDAR instance features within the LiDAR BEV features; (2) the C-Instance module, which predicts camera instance features through Region of Interest (RoI) pooling on the camera BEV features; (3) the InstanceFusion module, which employs contrastive learning to generate consistent instance features across heFterogeneous modalities. Subsequently, we use graph matching to calculate the similarity between the neighboring camera instance features and the similarity instance features to complete the alignment of instance features. Our method achieves SOTA performance, with an mAP of 71.5%, surpassing GraphBEV by 1.4% on the nuScenes val set. Importantly, our method excels BEVFusion under conditions with spatial & temporal misalignment noise, improving mAP by 1.4% and 11.1% on nuScenes dataset. Notably, on the Argoverse2 dataset, ContrastAlign outperforms GraphBEV by 1.0% in mAP, indicating that the farther the distance, the more severe the feature misalignment and the more effective.

研究の動機と目的

• センサの misalignment と深度推定誤差にもかかわらず、LiDAR-カメラBEVの堅牢なフュージョンを動機づける。
• LiDARとカメラのインスタンス特徴をBEV空間内で整合させる対比的整合フレームワークを提案する。
• Cross-modal整合のためにLiDARとカメラのインスタンス特徴を生成するインスタンスレベルのモジュールを導入する。
• nuScenesでの検出性能を、特に誤配列/ノイズ条件下で改善を実証する。

提案手法

• LiDAR BEV特徴内でLiDARインスタンス特徴を出力するL-Instanceを導入する。
• カメラBEV特徴上でRoIプーリングを介してカメラインスタンス特徴を生成するC-Instanceを導入する。
• 対比学習を用いてクロスモーダルの正例/負例ペアを作成するInstanceFusionを開発する。
• 隣接するカメラインスタンス類似度を特定するグラフマッチングを用いて整合サンプルを構築する。
• InfoNCE損失でクロスモーダルインスタンス特徴の整合を促進し、整合した特徴を結合して最終検出ヘッドへ渡す。

実験結果

リサーチクエスチョン

• RQ1 LiDARとカメラのインスタンス特徴間の対比学習はマルチモーダル3D検出におけるBEV特徴の整合性を改善できるか。
• RQ2 L-InstanceとC-Instanceブロックは較正ノイズ下の堅牢なフュージョンにどのように寄与するか。
• RQ3 InstanceFusionとグラフベースの近傍マッチングはBEVの誤配列を減らしnuScenesで検出指標を改善するか。
• RQ4 InstanceFusionのハイパーパラメータ（IoU閾値と近傍数）の整合性品質とレイテンシに与える影響はどの程度か。
• RQ5 ContrastAlignはクリーン条件と誤配列条件の下でBEVFusionおよび他のSOTA手法と比較してどのように性能を示すか。

主な発見

Setting	Method	Modality	mAP	NDS	Car	Truck	C.V.	Bus	Trailer	Barrier	Motor.	Bike	Ped.	T.C.
クリーン	TransFusion-L [1]	L	65.1	70.1	86.5	59.6	25.4	74.4	42.2	74.1	72.1	56.0	86.6	74.1
クリーン	FUTR3D [6]	LC	64.2	68.0	86.3	61.5	26.0	71.9	42.1	64.4	73.6	63.3	82.6	70.1
クリーン	TransFusion [1]	LC	67.3	71.2	87.6	62.0	27.4	75.7	42.8	73.9	75.4	63.1	87.8	77.0
クリーン	ObjectFusion [4]	LC	69.8	72.3	89.7	65.6	32.0	77.7	42.8	75.2	79.4	65.0	89.3	81.1
クリーン	BEVFusion [34]	LC	68.5	71.4	89.2	64.6	30.4	75.4	42.5	72.0	78.5	65.3	88.2	79.5
クリーン	ContrastAlign	LC	70.3	72.5	89.5	66.0	32.9	76.8	45.5	75.6	79.7	66.9	88.8	81.2
ノイズあり	BEVFusion [34]	LC	60.8	65.7	83.1	50.3	26.5	66.4	38.0	65.0	64.9	52.8	86.1	75.1
ノイズあり	ContrastAlign	LC	68.1	70.9	88.6	63.9	29.3	74.5	41.8	71.6	77.9	64.9	88.6	80.0

• ContrastAlignはnuScenesの検証データセットにおいてクリーン設定で70.3% mAPおよび72.5% NDSを達成し、BEVFusionより1.1%NDS、1.8%mAP上回る。
• ノイズのある誤配列下ではContrastAlignは68.1% mAPおよび70.9% NDSを達成し、BEVFusionを7.3% mAP、5.2%NDS上回る。
• nuScenesのテストセットではContrastAlignは71.8% mAPおよび73.8% NDSを達成し、BEVFusionより1.6% mAP、0.9% NDS上回る。
• ContrastAlignは困難なカテゴリ（truck, motorcycle, bike）および昼夜の頑健性で顕著な利得を示し、誤配列が存在する場合の遠距離・小型物体検出を改善する。
• アブレーションによりInstanceFusionが重要であることが示され、ノイズ設定でmAPを約6.9%増加させ、レイテンシの増加は許容範囲である。
• ハイパーパラメータ分析ではtau = 0.1とK = 8がInstanceFusionの最良性能を生むことを示唆。