[논문 리뷰] Towards Full-scene Domain Generalization in Multi-agent Collaborative Bird's Eye View Segmentation for Connected and Autonomous Driving

Senkang Hu, Zhengru Fang외 4명|arXiv (Cornell University)|2023. 11. 28.

Visual Attention and Saliency Detection인용 수 4

한 줄 요약

이 논문은 연결형 및 자율주행 차량(CAV)에서 다중 에이전트 협업 베이직 에이전트 뷰(BEV) 세그멘테이션을 위한 통합 도메인 일반화 프레임워크를 제안한다. 환경 및 센서 이질성으로 인한 도메인 이동 문제를 다루며, 진폭 증강, 메타일관성 훈련, 내시스템 도메인 정렬을 결합하여 다양한 도메인 간에 강건성을 향상시킨다. OPV2V에서 평균 AP@IoU 48.46%로 최신 기술 수준을 달성한다.

ABSTRACT

Collaborative perception has recently gained significant attention in autonomous driving, improving perception quality by enabling the exchange of additional information among vehicles. However, deploying collaborative perception systems can lead to domain shifts due to diverse environmental conditions and data heterogeneity among connected and autonomous vehicles (CAVs). To address these challenges, we propose a unified domain generalization framework to be utilized during the training and inference stages of collaborative perception. In the training phase, we introduce an Amplitude Augmentation (AmpAug) method to augment low-frequency image variations, broadening the model's ability to learn across multiple domains. We also employ a meta-consistency training scheme to simulate domain shifts, optimizing the model with a carefully designed consistency loss to acquire domain-invariant representations. In the inference phase, we introduce an intra-system domain alignment mechanism to reduce or potentially eliminate the domain discrepancy among CAVs prior to inference. Extensive experiments substantiate the effectiveness of our method in comparison with the existing state-of-the-art works.

연구 동기 및 목표

• 연결형 및 자율주행 차량(CAV)에서 환경 및 센서 이질성으로 인한 다중 에이전트 협업 인식의 도메인 이동 문제를 해결한다.
• 기존 방법이 훈련 및 테스트 데이터가 동일한 도메인에서 유래된다는 가정을 하고 있다는 한계를 극복한다.
• 학습 및 추론 모두에서 효과적인 통합 프레임워크를 개발하여 예측 불가능한 도메인으로의 일반화 능력을 향상시킨다.
• 낮/밤 또는 도심/농촌 전환과 같은 동적이고 이질적인 CAV 환경에서의 강건성을 향상시킨다.
• 다양한 조명, 카메라 품질, 센서 구성이 있는 협업 차량 간의 데이터 분포 이동으로 인한 성능 저하를 줄인다.

제안 방법

• 훈련 중 다양한 도메인 조건을 시뮬레이션하기 위해 이미지 특징의 저주파 변동을 합성하는 데 사용하는 진폭 증강(AmpAug)을 도입한다.
• 메타학습을 활용해 도메인 이동를 시뮬레이션하고 일관성 손실을 통해 도메인 불변 표현을 최적화하는 메타일관성 훈련 기법을 설계한다.
• 추론 시점에 협업 차량 간의 특징 분포를 정렬하는 내시스템 도메인 정렬 메커니즘을 구현하여 도메인 간 격차를 최소화한다.
• 메타훈련 중 서로 다른 도메인의 잠재 표현이 더 유사해지도록 유도하기 위해 일관성 손실 함수 $\mathcal{L}_{cons}$ 를 사용한다.
• 기존 협업 인식 아키텍처(예: AttFuse, V2VNet, DiscoNet)와 통합하여 다양한 모델 간의 일반화 능력을 검증한다.
• 미리 정의된 도메인 이동을 시뮬레이션하기 위해 메타학습 태스크와 메타테스트 태스크를 번갈아가며 최적화하는 메타최적화 목표를 사용해 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 실제 환경 및 센서 이질성이 존재하는 다중 에이전트 협업 BEV 세그멘테이션에서 도메인 일반화를 효과적으로 달성할 수 있는 방법은 무엇인가?
• RQ2 진폭 증강이 협업 인식에서 다양한 도메인 간의 모델 일반화에 얼마나 기여하는가?
• RQ3 훈련 중 타겟 도메인 데이터에 접근할 수 없더라도 메타일관성 훈련이 도메인 불변 특징을 효과적으로 학습할 수 있는가?
• RQ4 추론 시점에서 협업 차량 간의 분포 이동을 줄이기 위해 내시스템 도메인 정렬 메커니즘이 얼마나 효과적인가?
• RQ5 제안된 프레임워크가 기존 최신 기술 수준의 방법보다 교차 도메인 BEV 세그멘테이션 과제에서 더 우수한 성능을 보일 수 있는가?

주요 결과

• 제안된 방법은 OPV2V 벤치마크에서 평균 AP@IoU 48.46%를 달성하여 AmpAug 없이 테스트한 베이스라인 대비 6.20%포인트 향상되었다.
• AmpAug는 베이스라인에서 평균 AP@IoU를 42.26% (AmpAug 없음)에서 48.46% (AmpAug 있음)로 끌어올려 도메인 일반화를 위한 데이터 증강의 효과를 입증했다.
• 메타일관성 훈련은 차량에 대해 2.56%포인트, 도로에 대해 1.08%포인트, 차선에 대해 0.26%포인트의 IoU 정확도 향상을 이끌어내어 도메인 이동에 대한 강건성이 향상됨을 보여주었다.
• 내시스템 도메인 정렬 메커니즘은 모든 베이스라인에서 성능 향상을 이끌어내었으며, V2VNet은 차량에 대해 3.52%포인트, 도로에 대해 2.17%포인트, 차선에 대해 1.92%포인트 향상되었다.
• 일관성 손실 $\mathcal{L}_{cons}$ 는 훈련이 진행됨에 따라 감소하여 도메인 불변 표현의 성공적인 학습을 나타낸다.
• 메타테스트 손실은 초반의 변동 후 약 0.06 수준에서 안정화되어 모델이 예측 불가능한 도메인으로 일반화할 수 있음을 확인한다.