[論文レビュー] Vehicle-Infrastructure Cooperative 3D Object Detection via Feature Flow Prediction

Haibao Yu, Yingjuan Tang+5 more|arXiv (Cornell University)|Mar 19, 2023

Advanced Neural Network Applications被引用数 14

ひとこと要約

FFNetは機能フロー予測モジュールを導入し、時間的非同期性の下でインフラとego-車両特徴を整合させるとともに伝送コストを削減し、VIC3D検出性能を向上させる。

ABSTRACT

Cooperatively utilizing both ego-vehicle and infrastructure sensor data can significantly enhance autonomous driving perception abilities. However, temporal asynchrony and limited wireless communication in traffic environments can lead to fusion misalignment and impact detection performance. This paper proposes Feature Flow Net (FFNet), a novel cooperative detection framework that uses a feature flow prediction module to address these issues in vehicle-infrastructure cooperative 3D object detection. Rather than transmitting feature maps extracted from still-images, FFNet transmits feature flow, which leverages the temporal coherence of sequential infrastructure frames to predict future features and compensate for asynchrony. Additionally, we introduce a self-supervised approach to enable FFNet to generate feature flow with feature prediction ability. Experimental results demonstrate that our proposed method outperforms existing cooperative detection methods while requiring no more than 1/10 transmission cost of raw data on the DAIR-V2X dataset when temporal asynchrony exceeds 200$ms$. The code is available at \href{https://github.com/haibao-yu/FFNet-VIC3D}{https://github.com/haibao-yu/FFNet-VIC3D}.

研究の動機と目的

• インフラと自車センサの両方を活用して ego-only perception limits を克服することで VIC3D object detection を動機づける。
• 時間的非同期性と通信帯域の制限が融合の不整合を引き起こすのに対処する。
• 車両のタイムスタンプと整合する未来のインフラ特徴を予測するスケーラブルな中間レベルのフュージョン框架を提案する。
• 生の特徴マップの代わりに圧縮された特徴フローを伝送して伝送コストを削減する。
• 不確かな遅延に対する頑健性を示し、実世界データセットで最先端の性能を示す。

提案手法

• 生の特徴量ではなく圧縮された特徴フローを伝送する FFNet を導入。
• 特徴フローを F_i(t_i) とその第一階導関数 F_i'(t_i) として未来のインフラ特徴を予測する。
• 連続するインフラフレームから cosinus類似損失を用いて自己教師付き訓練により F_i'(t_i) を学習する。
• 伝送コストを 0.12 MB に削減するためにインフラ特徴 F_i(P_i(t_i)) とその導関数を圧縮する。
• 車両で復元し、タイムスタンプ t_v に対して整列したインフラ特徴を線形近似で予測し、車両特徴と統合して3D検出ヘッドへ適用する。
• DAIR-V2X で評価し、FFNet を非フュージョン、早期、遅延、そして中間フュージョンのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 Can feature flow prediction mitigate fusion misalignment caused by temporal asynchrony in VIC3D?
• RQ2 What is the transmission cost trade-off when using compressed feature flow versus raw data or other fusion schemes?
• RQ3 How robust is FFNet to varying and uncertain latency between infrastructure and ego-vehicle sensors?
• RQ4 Does self-supervised learning effectively train the feature flow generator without manual annotations?
• RQ5 How does FFNet perform against state-of-the-art cooperative perception methods on real-world data?

主な発見

Model	FusionType	Latency_ms	mAP_3D_IoU0.5	mAP_3D_IoU0.7	mAP_BEV_IoU0.5	mAP_BEV_IoU0.7	AB_Bytes
PointPillars	non-fusion	/	48.06	-	52.24	-	0
Early Fusion	early	100	57.35	-	64.06	-	1.4e6
TCLF (Yu2022)	late	100	40.79	-	46.80	-	5.4e2
DiscoNet	middle	100	52.83	29.19	61.25	50.11	1.2e5
V2VNet	middle	100	52.02	28.54	60.78	50.02	1.2e5
FFNet (Ours)	middle	100	55.48	31.50	63.14 (+10.90)	54.28	1.2e5
Early Fusion	early	200	54.63	-	61.08	-	1.4e6
TCLF (Yu2022)	late	200	36.72	-	41.67	-	5.1e2
DiscoNet	middle	200	50.76	28.57	58.20	48.90	1.2e5
V2VNet	middle	200	49.67	26.96	56.02	46.32	1.2e5
FFNet (Ours)	middle	200	55.37	31.66	63.20 ( +10.96 )	54.69	1.2e5

• FFNetは中間フュージョン手法の中で DAIR-V2X において 200 ms のレイテンシで最先端の性能を達成。
• 100 ms のレイテンシで FFNet mAP@3D IoU0.5 は 55.48 で、mAP@BEV IoU0.5 は 63.14、AB 1.2e5 バイト。
• 200 ms のレイテンシで FFNet mAP@3D IoU0.5 は 55.37、mAP@BEV IoU0.5 は 63.20、AB 1.2e5 バイト。
• FFNet は DiscoNet および V2VNet（中間フュージョン）を、100 ms および 200 ms の遅延の両方で顕著に上回り、 raw data の伝送コストの最大で 1/10 以下に抑える。
• 特徴フローに基づくアプローチは時間遅れによる性能低下を大幅に緩和し、予測なしの FFNet Varianten よりも高い遅延の下で上回る。
• 自己教師付き訓練は連続するインフラフレームから特徴フロー予測子を効果的に学習し、不確かな遅延間での堅牢な整列を可能にする。