[논문 리뷰] V2X-ViT: Vehicle-to-Everything Cooperative Perception with Vision Transformer

Runsheng Xu, Xiang Hao외 4명|arXiv (Cornell University)|2022. 03. 20.

Advanced Neural Network Applications인용 수 10

한 줄 요약

이 논문은 차량 간 및 차량-인프라 간 협업 인식을 위한 통합된 비전 트랜스포머 아키텍처인 V2X-ViT을 제안한다. 이는 이질적인 에이전트(차량 및 인프라)를 동시에 처리하고, 다중 소스, 노이지, 비동기적으로 공유되는 시각적 특징을 견고하게 융합한다. 종단 간 훈련 가능한 프레임워크 내에서 이질적 다중에이전트 자기주의와 다중 스케일 윈도우 자기주의 모듈을 통합함으로써, 단일 에이전트 기반 모델 대비 21.2%의 AP 향상을 이룩하였으며, 혹독한 노이지 조건에서도 최신 기술 수준의 3D 객체 탐지 성능을 달성한다.

ABSTRACT

In this paper, we investigate the application of Vehicle-to-Everything (V2X) communication to improve the perception performance of autonomous vehicles. We present a robust cooperative perception framework with V2X communication using a novel vision Transformer. Specifically, we build a holistic attention model, namely V2X-ViT, to effectively fuse information across on-road agents (i.e., vehicles and infrastructure). V2X-ViT consists of alternating layers of heterogeneous multi-agent self-attention and multi-scale window self-attention, which captures inter-agent interaction and per-agent spatial relationships. These key modules are designed in a unified Transformer architecture to handle common V2X challenges, including asynchronous information sharing, pose errors, and heterogeneity of V2X components. To validate our approach, we create a large-scale V2X perception dataset using CARLA and OpenCDA. Extensive experimental results demonstrate that V2X-ViT sets new state-of-the-art performance for 3D object detection and achieves robust performance even under harsh, noisy environments. The code is available at https://github.com/DerrickXuNu/v2x-vit.

연구 동기 및 목표

• 차량 단독 인식의 한계(예: 가림, 제한된 시야)를 극복하기 위해 차량과 도로변 인프라 간 협업 인식을 활용한다.
• 센서 모odal리티, 설치 고도, 노이즈 수준의 차이가 있는 V2X 에이전트의 이질성을 처리할 수 있는 통합된 종단 간 훈련 가능한 트랜스포머 프레임워크를 설계한다.
• 비동기적 데이터 공유, GPS 위치 오차, V2X 통신의 지연 시간 등 도전 과제를 새로운 주의 메커니즘과 지연 인지 위치 인코딩을 통해 완화한다.
• 실제 통신 불완전성을 반영한 대규모이고 현실적인 시뮬레이션 데이터셋을 구축하여 V2X 인식 시스템의 벤치마킹을 가능하게 한다.

제안 방법

• 이질적 다중에이전트 자기주의(HMSA)와 다중 스케일 윈도우 자기주의(MSwin)를 번갈아 사용하는 V2X-ViT를 제안하여 이질적 에이전트 간 특징을 융합하고 국소적 및 전역적 공간 관계를 포착한다.
• 에이전트 유형(차량, 인프라)과 그 상호 연결성을 명시적으로 모델링하는 이질적 다중에이전트 자기주의 모듈을 도입하여 이질적 특징의 적응적 융합을 가능하게 한다.
• 다양한 해상도의 병렬 윈도우를 사용하는 다중 스케일 윈도우 자기주의 기법을 도입하여 위치 오차와 특징 이격에 대한 강건성을 향상시킨다.
• 비동기적 V2X 통신에서의 시간 지연을 고려한 지연 인지 위치 인코딩을 통합하여 특징의 시간적 정렬을 향상시킨다.
• 모든 구성 요소를 종단 간 최적화할 수 있도록 통합된 트랜스포머 아키텍처를 사용하여 노이지 및 불확실한 조건에서도 견고한 특징 융합을 가능하게 한다.
• 중간 단계의 딥 특징을 에이전트 간 전송하기 위한 압축 및 통신 파이프라인을 도입하여 대역폭을 줄이면서도 탐지 성능을 유지한다.

실험 결과

연구 질문

• RQ1 통합된 비전 트랜스포머 아키텍처는 차량과 인프라에서 온 이질적 시각적 특징을 V2X 협업 인식에서 효과적으로 융합할 수 있는가?
• RQ2 제안된 이질적 다중에이전트 자기주의 기법은 이질적인 V2X 환경에서 표준 자기주의 대비 특징 융합 성능을 어떻게 향상시키는가?
• RQ3 다중 스케일 윈도우 자기주의 기법은 V2X 데이터 융합에서 위치 오차와 지연 시간에 대해 얼마나 강건성을 향상시키는가?
• RQ4 지연 인지 위치 인코딩은 비동기 통신 조건에서 성능을 어떻게 향상시키는가?
• RQ5 실제 노이지 및 비동기 통신 환경에서 V2X-ViT는 단일 에이전트 및 기존 협업 인식 방법 대비 얼마나 높은 성능 향상을 이룩하는가?

주요 결과

• 제안된 V2XSet 데이터셋에서 V2X-ViT는 단일 에이전트 기반 모델 대비 3D 객체 탐지의 평균 정밀도(AP)에서 21.2%의 절대적 향상을 달성한다.
• 노이지 통신 환경에서 F-Cooper, OPV2V, V2VNet, DiscoNet과 같은 선도적 중간 융합 방법보다 최소 7.3% 이상의 AP 향상을 기록한다.
• 매우 높은 가림과 혼잡한 교통 상황(예: Scene 7)에서도 V2X-ViT는 낮은 누락 탐지 수와 감소된 회귀 이격을 유지하며 높은 탐지 정확도를 확보한다.
• 주의 시각화 결과에 따르면, 자동차가 가림 영역에서 특히 인프라 특징에 더 높은 주의를 기울이는 것으로 확인되어, 모델이 더 넓고 가림이 적은 인프라의 시야를 효과적으로 활용할 수 있음을 검증한다.
• 다양한 데이터 전송 크기와 지연 시간에 대해 안정적인 성능을 보이며, 균일한 지연 분포로 모델링한 현실적인 통신 불확실성 조건에서도 성능이 안정적이다.
• 제안된 V2XSet 데이터셋은 실제 통신 불완전성(변동 지연, 패킷 손실 등)을 반영하여 V2X 인식 시스템의 현실적인 평가를 가능하게 한다.