[논문 리뷰] V2X-VLM: End-to-End V2X Cooperative Autonomous Driving Through Large Vision-Language Models

Junwei You, Haotian Shi외 7명|arXiv (Cornell University)|2024. 08. 17.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 차량 카메라, 인프라 센서, 텍스트적 맥락의 다중 모odal 데이터를 융합하기 위해 대규모 시각-언어 모델(VLMs)을 활용하는 엔드 투 엔드 차량-인프라 협업 자율주행 프레임워크인 V2X-VLM을 제안한다. 이는 상황 인식 능력과 경로 계획 성능을 향상시킨다. DAIR-V2X 데이터셋에서 평균 L2 오차 1.40m를 기록하며 기존 방법들을 크게 앞서는 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Vehicle-to-everything (V2X) cooperation has emerged as a promising paradigm to overcome the perception limitations of classical autonomous driving by leveraging information from both ego-vehicle and infrastructure sensors. However, effectively fusing heterogeneous visual and semantic information while ensuring robust trajectory planning remains a significant challenge. This paper introduces V2X-VLM, a novel end-to-end (E2E) cooperative autonomous driving framework based on vision-language models (VLMs). V2X-VLM integrates multiperspective camera views from vehicles and infrastructure with text-based scene descriptions to enable a more comprehensive understanding of driving environments. Specifically, we propose a contrastive learning-based mechanism to reinforce the alignment of heterogeneous visual and textual characteristics, which enhances the semantic understanding of complex driving scenarios, and employ a knowledge distillation strategy to stabilize training. Experiments on a large real-world dataset demonstrate that V2X-VLM achieves state-of-the-art trajectory planning accuracy, significantly reducing L2 error and collision rate compared to existing cooperative autonomous driving baselines. Ablation studies validate the contributions of each component. Moreover, the evaluation of robustness and efficiency highlights the practicality of V2X-VLM for real-world deployment to enhance overall autonomous driving safety and decision-making.

연구 동기 및 목표

• 복잡하고 동적인 주행 환경을 다루는 데에 한계가 있는 기존 엔드 투 엔드 자율주행 시스템을 개선하기 위해 차량 및 인프라에서 온 다중 모달 데이터를 통합하고자 한다.
• 시각적 및 텍스트적 입력을 처리하는 대규모 시각-언어 모델(VLMs)을 활용하여 협업 자율주행에서 상황 인식 능력과 의사결정 능력을 향상시키고자 한다.
• 포괄적인 다중 모달 데이터 융합을 통해 실제 주행 환경에서의 경로 계획 정확도와 내구성을 향상시키고자 한다.
• 일상적인 추론과 맥락 이해를 통해 희귀하고 복잡한 도심 주행 시나리오에 일반화할 수 있도록 하여 자율주행 시스템의 장기적 실패 비율을 감소시키고자 한다.

제안 방법

• 프레임워크는 차량에 장착된 카메라에서 온 이미지, 인프라 센서 데이터, 환경에 대한 텍스트 기술을 포함한 다중 모달 입력을 처리하고 융합하기 위해 대규모 시각-언어 모델(VLM)을 핵심 기반으로 사용한다.
• 차량 및 인프라 카메라에서 유도된 시각적 특징과 텍스트적 맥락(예: 교통 표지, 도로 상태)을 통합하여 주행 환경에 대한 통합된 맥락 인식 표현을 생성한다.
• DAIR-V2X 데이터셋에서 엔드 투 엔드로 VLM을 미세조정하여 인식, 추론, 경로 계획을 하나의 통합 파이프라인에서 함께 최적화한다.
• 융합된 다중 모달 임베딩에서 직접 웨이포인트 시퀀스를 생성하기 위해 트랜스포머 기반 디코더를 사용하며, 경로 계획을 언어 생성 작업으로 간주한다.
• 전송 비용을 최적화하기 위해 전체 해상도 이미지가 아닌 핵심 특징만 추출하고 전송함으로써 대역폭을 줄이면서도 핵심 정보를 유지한다.
• 효율적인 VLM 아키텍처와 하드웨어 기반 설계 원칙을 활용하여 성능과 통신 비용의 균형을 유지함으로써 실시간 추론을 지원한다.

실험 결과

연구 질문

• RQ1 대규모 시각-언어 모델은 시각적, 텍스트적, 인프라 데이터를 포함한 다중 모달 입력을 효과적으로 융합하여 협업 자율주행에서 상황 인식 능력을 향상시킬 수 있는가?
• RQ2 다양한 주행 시나리오에서 기존 최신 기술 수준의 방법들과 비교할 때 엔드 투 엔드 V2X-VLM의 경로 계획 정확도와 내구성은 어떠한가?
• RQ3 시각적 데이터와 텍스트적 맥락을 융합함으로써 복잡한 도심 환경에서 의사결정 능력 향상과 오류 감소에 어느 정도 기여하는가?
• RQ4 V2X 통신에서 고해상도 시각 데이터와 압축된 특징 표현 간의 전송 비용과 계획 정확도 사이의 상호 교환 관계는 어떠한가?

주요 결과

• V2X-VLM는 DAIR-V2X 데이터셋에서 경로 예측 평균 L2 오차 1.40m를 기록하며, 이는 다음으로 우수한 성능을 보인 UniV2X(3.43m)를 크게 앞선다.
• 모든 평가 시간 간격(2.5s, 3.5s, 4.5s)에서 가장 가까운 기준 모델인 UniV2X 대비 L2 오차를 50% 이상 감소시킨다.
• 전송 비용이 $1.24 \times 10^7$ BPS로 높은 편이지만, 포괄적인 다중 모달 융합 덕분에 뛰어난 정확도를 유지함으로써 유리한 상호 교환 관계를 확보한다.
• 교차로, 보행자 횡단 보도, 악천후 조건과 같은 다양한 복잡한 주행 시나리오에서도 뛰어난 성능을 보인다.
• VLMs를 통한 텍스트적 맥락 통합은 특히 시각적 신호만으로는 충분하지 않은 장기적 희귀 시나리오에서 추론 능력과 일반화 능력을 향상시킨다.
• 특징 추출을 통한 데이터 전송 최적화가 추가로 이루어질 경우, 확장성과 실세계 적용 잠재력이 매우 높아 보인다.