[論文レビュー] Towards Full-scene Domain Generalization in Multi-agent Collaborative Bird's Eye View Segmentation for Connected and Autonomous Driving

Senkang Hu, Zhengru Fang+4 more|arXiv (Cornell University)|Nov 28, 2023

Visual Attention and Saliency Detection被引用数 4

ひとこと要約

本論文は、連結自動運転車両におけるマルチエージェント協調ビールズアイビュー（BEV）セグメンテーションのための統一的ドメイン一般化フレームワークを提案する。環境的・センサの異質性に起因するドメインシフトを解決することを目的とし、アモルチチュード拡張、メタ一貫性学習、およびイントラシステムドメインアライメントを組み合わせることで、多様なドメインにわたる耐性を向上させ、OPV2Vで平均AP@IoU 48.46%という最先端の性能を達成した。

ABSTRACT

Collaborative perception has recently gained significant attention in autonomous driving, improving perception quality by enabling the exchange of additional information among vehicles. However, deploying collaborative perception systems can lead to domain shifts due to diverse environmental conditions and data heterogeneity among connected and autonomous vehicles (CAVs). To address these challenges, we propose a unified domain generalization framework to be utilized during the training and inference stages of collaborative perception. In the training phase, we introduce an Amplitude Augmentation (AmpAug) method to augment low-frequency image variations, broadening the model's ability to learn across multiple domains. We also employ a meta-consistency training scheme to simulate domain shifts, optimizing the model with a carefully designed consistency loss to acquire domain-invariant representations. In the inference phase, we introduce an intra-system domain alignment mechanism to reduce or potentially eliminate the domain discrepancy among CAVs prior to inference. Extensive experiments substantiate the effectiveness of our method in comparison with the existing state-of-the-art works.

研究の動機と目的

• 連結自動運転車両（CAVs）における環境的・センサの異質性に起因するマルチエージェント協調認識におけるドメインシフトを解決すること。
• 訓練データとテストデータが同一ドメインからとるという仮定を置く既存手法の制限を克服すること。
• 訓練時および推論時においても有効な統一フレームワークを構築し、未観測ドメインへの一般化を向上させること。
• 日中／夜間、都市／地方への移行など、動的かつ異種なCAV環境における耐性を向上させること。
• 照明、カメラ品質、センサ構成の異なる協調する車両間でのデータ分布シフトに起因する性能低下を低減すること。

提案手法

• 訓練時に多様なドメイン状態をシミュレートするため、画像特徴の低周波成分変動を合成するためのアモルチチュード拡張（AmpAug）を導入する。
• メタ学習を用いてドメインシフトをシミュレートし、一貫性損失を通じてドメイン不変表現を最適化するメタ一貫性学習スキームを設計する。
• 推論時における協調する車両間の特徴分布をアライメントするため、インフラシステムドメインアライメント機構を実装する。
• メタトレーニング中に異なるドメインからの潜在表現がより類似するように促進するため、一貫性損失関数 $\mathcal{L}_{cons}$ を使用する。
• 既存の協調認識アーキテクチャ（例：AttFuse, V2VNet, DiscoNet）と統合し、異なるモデル間での一般化を検証する。
• 未観測ドメインシフトをシミュレートするために、メタトレーニングタスクとメタテストタスクを交互に切り替えるメタ最適化目的関数を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 現実の環境的・センサの異質性に起因するマルチエージェント協調BEVセグメンテーションにおいて、ドメイン一般化をどのように効果的に達成できるか？
• RQ2 アモルチチュード拡張は、協調認識における多様なドメインにわたるモデル一般化をどの程度向上させるか？
• RQ3 訓練時にターゲットドメインデータにアクセスできない状況下でも、メタ一貫性学習がドメイン不変特徴を効果的に学習できるか？
• RQ4 推論時に協調する車両間の分布シフトを低減するためのインフラシステムドメインアライメント機構は、どの程度効果的か？
• RQ5 提案フレームワークは、既存の最先端手法に比べてクロスドメインBEVセグメンテーションタスクで優れた性能を示すか？

主な発見

• 提案手法はOPV2Vベンチマークで平均AP@IoU 48.46%を達成し、AmpAugを導入しないベースラインより6.20ポイント高い性能を示した。
• AmpAugを導入することで、平均AP@IoUはAmpAugなしの42.26%から48.46%に上昇し、ドメイン一般化のためのデータ拡張としての有効性が裏付けられた。
• メタ一貫性学習により、車両で2.56%、レーンで1.08%、道路で0.26%のIoU精度向上が見られ、ドメインシフトに対する耐性が向上した。
• インフラシステムドメインアライメント機構により、すべてのベースラインで性能向上が確認された：V2VNetでは車両で3.52%、道路で2.17%、レーンで1.92%向上した。
• 一貫性損失 $\mathcal{L}_{cons}$ は訓練に伴い減少し、ドメイン不変表現の学習が成功したことが示された。
• メタテスト損失は初期のフラクチュエーションを経て、約0.06に安定化し、未観測ドメインへの一般化能力が確認された。