[논문 리뷰] VAD: Vectorized Scene Representation for Efficient Autonomous Driving

Bo Jiang, Shaoyu Chen외 8명|arXiv (Cornell University)|2023. 03. 21.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

이 논문은 레이터라이즈드 표현 대신 벡터화된 에이전트 운동과 지도 요소를 사용하여 장면을 모델링하는 완전히 벡터화된 엔드 투 엔드 자율주행 프레임워크인 VAD를 제안한다. 명시적인 인스턴스 수준 계획 제약 조건과 쿼리 기반 특징 상호작용을 활용하여 VAD는 이전 방법 대비 2.5배 빠른 추론 속도를 기록하며, nuScenes에서 충돌률을 29.0% 감소시키고 이동 오차를 30.1% 감소시켜 최신 기술 수준의 계획 성능을 달성한다.

ABSTRACT

Autonomous driving requires a comprehensive understanding of the surrounding environment for reliable trajectory planning. Previous works rely on dense rasterized scene representation (e.g., agent occupancy and semantic map) to perform planning, which is computationally intensive and misses the instance-level structure information. In this paper, we propose VAD, an end-to-end vectorized paradigm for autonomous driving, which models the driving scene as a fully vectorized representation. The proposed vectorized paradigm has two significant advantages. On one hand, VAD exploits the vectorized agent motion and map elements as explicit instance-level planning constraints which effectively improves planning safety. On the other hand, VAD runs much faster than previous end-to-end planning methods by getting rid of computation-intensive rasterized representation and hand-designed post-processing steps. VAD achieves state-of-the-art end-to-end planning performance on the nuScenes dataset, outperforming the previous best method by a large margin. Our base model, VAD-Base, greatly reduces the average collision rate by 29.0% and runs 2.5x faster. Besides, a lightweight variant, VAD-Tiny, greatly improves the inference speed (up to 9.3x) while achieving comparable planning performance. We believe the excellent performance and the high efficiency of VAD are critical for the real-world deployment of an autonomous driving system. Code and models are available at https://github.com/hustvl/VAD for facilitating future research.

연구 동기 및 목표

• 이전 엔드 투 엔드 자율주행 방법에서 사용하는 레이터라이즈드 장면 표현의 계산 비효율성과 인스턴스 수준의 구조 손실 문제를 해결하기 위해.
• 벡터화된 운동 및 지도 정보를 하드 제약 조건으로 명시적으로 인코딩하여 계획의 안전성을 향상시키기 위해.
• 벡터화된 계산의 효율성과 후처리 단계의 감소를 통해 엔드 투 엔드 자율주행 시스템의 실시간 구현을 가능하게 하기 위해.
• 벡터화된 장면 표현이 벤치마크 데이터셋에서 정확도와 속도 측면에서 레이터라이즈드 표현 대비 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• VAD는 프론트 카메라 이미지를 처리하고 베이즈-이미지(鳥瞰) 특징을 생성하기 위해 BEV 기반 백본과 트랜스포머 기반 인코더를 사용한다.
• 맵 쿼리와 에이전트 쿼리를 활용하여 벡터화된 맵 요소(예: 차선 경계, 도로 가장자리)와 에이전트 운동 궤적을 암시적으로 참조한다.
• 프레임워크는 세 가지 명시적인 벡터화된 계획 제약 조건을 도입한다: 자동차-에이전트 충돌 방지, 자동차-경계 초과 방지, 자동차-차선 방향 정규화.
• 밀도 높은 세분화 또는 점유 지도 대신 전용 헤드 모듈을 통해 벡터화된 맵 및 운동 예측을 생성한다.
• 계획 헤드는 향후 궤적을 생성하기 위해 희소한 벡터화된 쿼리를 사용하며, 벡터화된 표현의 압축성 덕분에 추론 속도가 향상된다.
• 모델은 운동 예측, 맵 예측, 계획 목표를 포함한 다중 작업 지도 하에 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 완전히 벡터화된 장면 표현이 엔드 투 엔드 자율주행 계획에서 밀도 높은 레이터라이즈드 표현을 능가할 수 있는가?
• RQ2 계산 비용 증가 없이도 명시적인 벡터화된 계획 제약 조건이 안전성과 정확도를 어떻게 향상시키는가?
• RQ3 레이터라이즈드 표현과 후처리 단계를 제거함으로써 추론 속도는 얼마나 향상되며, 성능은 유지 또는 향상되는가?
• RQ4 쿼리 기반 상호작용을 통한 인스턴스 수준의 맵 및 에이전트 특징 통합은 계획의 일반화 능력과 강건성에 어떻게 기여하는가?
• RQ5 벡터화된 패러다임의 경량 변형이 경쟁 가능한 계획 정확도를 유지하면서 실시간 추론을 달성할 수 있는가?

주요 결과

• VAD-Base는 nuScenes에서 이전 최신 기술 수준의 방법인 UniAD 대비 평균 이동 오차를 30.1% 감소시켰다(0.72m 대비 1.03m), 충돌률도 29.0% 감소시켰다(0.22% 대비 0.31%).
• VAD-Base는 UniAD 대비 2.5배 빠른 속도로 작동한다(4.5 FPS 대비 1.8 FPS)로, 속도와 정확도 사이의 최적 균형을 달성한다.
• VAD-Tiny는 VAD-Base 대비 9.3배 더 빠른 추론 속도(16.8 FPS)를 기록했으며, 유사한 성능을 유지한다. 이동 오차는 0.78m, 충돌률은 0.38%이다.
• 절단 분석 결과, 자동차-맵 및 자동차-에이전트 상호작용이 성능 향상에 핵심적임을 확인했으며, 이들을 결합할 경우 충돌률을 최대 29.0%까지 감소시켰다.
• 벡터화된 맵 예측을 레이터라이즈드 BEV 세그멘테이션으로 대체하면 충돌률이 크게 증가함을 확인했으며, 이는 벡터화 표현의 우수성을 입증한다.
• VAD-Tiny에서 계획 모듈의 추론 시간은 단 3.4ms에 불과하여, 희소한 벡터화된 계산의 효율성을 강력히 보여준다.