[논문 리뷰] ADriver-I: A General World Model for Autonomous Driving

Fan Jia, Weixin Mao외 6명|arXiv (Cornell University)|2023. 11. 22.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 시각-행동 예측과 미래 장면 생성을 다중모달 대규모 언어 모델(MLLM)과 영상 확산 모델(VDM)을 사용하여 통합하는 일반적인 자율주행 세계 모델인 ADriver-I를 제안한다. 교차 배치된 시각-행동 쌍을 활용하여 ADriver-I는 폐쇄형 루프에서 자동으로 제어 신호를 예측하고 미래 프레임을 생성함으로써, L1 제어 오차가 속도 기준 0.072 m/s 및 조향 각도 기준 0.091 rad인 자율주행을 지속적으로 수행할 수 있으며, FID 및 FVD 점수는 각각 5.52와 97.0이다.

ABSTRACT

Typically, autonomous driving adopts a modular design, which divides the full stack into perception, prediction, planning and control parts. Though interpretable, such modular design tends to introduce a substantial amount of redundancy. Recently, multimodal large language models (MLLM) and diffusion techniques have demonstrated their superior performance on comprehension and generation ability. In this paper, we first introduce the concept of interleaved vision-action pair, which unifies the format of visual features and control signals. Based on the vision-action pairs, we construct a general world model based on MLLM and diffusion model for autonomous driving, termed ADriver-I. It takes the vision-action pairs as inputs and autoregressively predicts the control signal of the current frame. The generated control signals together with the historical vision-action pairs are further conditioned to predict the future frames. With the predicted next frame, ADriver-I performs further control signal prediction. Such a process can be repeated infinite times, ADriver-I achieves autonomous driving in the world created by itself. Extensive experiments are conducted on nuScenes and our large-scale private datasets. ADriver-I shows impressive performance compared to several constructed baselines. We hope our ADriver-I can provide some new insights for future autonomous driving and embodied intelligence.

연구 동기 및 목표

• 기존의 모듈러 자율주행 파이프라인에서 발생하는 중복성과 오차 전파 문제를 해결하기 위해 인식, 계획, 제어를 하나의 엔드 투 엔드 프레임워크로 통합하는 것.
• 고정밀 지도나 3D 경계 상자에 의존하지 않고 예측된 제어 신호를 바탕으로 미래 장면을 생성함으로써 시뮬레이션된 세계에서의 자율주행을 가능하게 하는 것.
• 교차 배치된 시각-행동 쌍을 사용하여 장기적인 수평 주행을 자가 일관성 있는 폐쇄형 환경에서 수행할 수 있는 일반화 가능한 세계 모델을 개발하는 것.
• 훈련 중 다중 라운드 감독을 통해 누적 오차를 줄이고 순차적 의사결정에서의 제어 신호 예측 정확도를 향상시키는 것.

제안 방법

• MLLM 처리를 위해 시각적 특징과 제어 신호(예: 조향 각도, 속도)를 하나의 텍스트 유사 토큰 형식으로 통합하기 위해 교차 배치된 시각-행동 쌍을 도입한다.
• 다중모달 대규모 언어 모델(MLLM)을 사용하여 이전의 시각-행동 쌍과 현재의 시각 토큰을 기반으로 현재 제어 신호를 자동으로 예측한다.
• 예측된 제어 신호와 이전의 시각-행동 쌍을 조건으로 하여 영상 확산 모델(VDM)이 미래 영상 프레임을 생성한다.
• 폐쇄형 루프에서 프로세스를 반복한다: 예측된 제어 신호가 미래 장면 생성에 영향을 주고, 그 결과로 생성된 장면이 다음 제어 예측에 영향을 준다.
• 누적 오차를 줄이고 중간 단계의 행동 예측 정확도를 향상시키기 위해 훈련 중 다중 라운드 대화 감독을 적용한다.
• MLLM와 VDM 구성 요소를 별도로 훈련하지만 공동 프레임워크 내에서 수행함으로써, 합성 세계에서의 엔드 투 엔드 자율주행 시뮬레이션을 가능하게 한다.

실험 결과

연구 질문

• RQ1 MLLM와 VDM 기반의 통합 세계 모델이 모듈러 파이프라인에 의존하지 않고 정확한 제어 신호 예측을 달성할 수 있는가?
• RQ2 예측된 제어 신호에 기반하여 미래 장면 생성이 효과적으로 조건화되어 자가 일관성 있는 시뮬레이션 환경에서의 자율주행을 가능하게 할 수 있는가?
• RQ3 훈련 중 다중 라운드 감독이 순차적 제어 신호 예측의 정확도와 안정성에 어떤 영향을 미치는가?
• RQ4 고정밀 지도나 3D 경계 상자 등의 사전 지식 없이 모델이 얼마나 높은 품질의 미래 프레임을 생성할 수 있는가?
• RQ5 폐쇄형 루프 방식으로 반복적으로 미래 상태와 행동을 생성함으로써 장기적인 수평 주행을 지속할 수 있는가?

주요 결과

• 세 개의 이전 시각-행동 쌍이 주어졌을 때, ADriver-I는 속도 예측의 L1 오차가 0.072 m/s, 조향 각도 예측의 L1 오차가 0.091 rad로 나타났다.
• 모델은 고정밀 지도나 경계 상자 사전 지식 없이도 미래 4프레임을 생성하여 Fréchet Video Distance(FVD)가 97.0, Fréchet Inception Distance(FID)가 5.52로 높은 품질의 생성 결과를 보였다.
• 다중 라운드 감독은 제어 신호 예측의 누적 오차를 감소시켜 속도 및 조향 각도 예측 정확도에서 단일 라운드 및 시간 축적 기반 베이스라인을 모두 초월했다.
• 정성적 결과에서는 예측된 제어 신호가 장면 생성에 직접적인 영향을 미치며, 생성된 장면이 후속 행동 예측을 이끄는 것으로 나타나, 합성 세계에서 폐쇄형 자율주행이 가능함을 보여주었다.
• 그림 7에 시각화된 바와 같이, 모델은 자가 생성된 환경에서 장기적인 수평 주행을 성공적으로 수행하였으며, 시뮬레이션된 세계에서 무한 주행의 가능성은 입증되었다.
• 강력한 성능에도 불구하고, 빠른 제어 변화 상황에서는 고품질 프레임 생성에 어려움을 겪고 있으며, MLLM와 VDM을 별도로 훈련함으로써 엔드 투 엔드 최적화가 제한된다.