[논문 리뷰] Copilot4D: Learning Unsupervised World Models for Autonomous Driving via Discrete Diffusion

Lunjun Zhang, Yuwen Xiong외 4명|arXiv (Cornell University)|2023. 11. 02.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 자율주행을 위한 새로운 비지도 세계 모델링 프레임워크인 Copilot4D를 제안한다. 이 프레임워크는 VQVAE를 사용해 포인트 클라우드 관측치를 토큰화하고, 수정된 마스킹된 생성형 이미지 트랜스포머를 활용한 이산 확산 모델을 통해 확장 가능하고 병렬 처리가 가능한 디코딩을 실현한다. 이는 NuScenes, KITTI, Argoverse2 데이터셋에서 1초 향후 포인트 클라우드 예측 시 65% 이상, 3초 예측 시 50% 이상의 카멘퍼 거리 감소를 달성하여 최신 기술 수준을 초월한다.

ABSTRACT

Learning world models can teach an agent how the world works in an unsupervised manner. Even though it can be viewed as a special case of sequence modeling, progress for scaling world models on robotic applications such as autonomous driving has been somewhat less rapid than scaling language models with Generative Pre-trained Transformers (GPT). We identify two reasons as major bottlenecks: dealing with complex and unstructured observation space, and having a scalable generative model. Consequently, we propose Copilot4D, a novel world modeling approach that first tokenizes sensor observations with VQVAE, then predicts the future via discrete diffusion. To efficiently decode and denoise tokens in parallel, we recast Masked Generative Image Transformer as discrete diffusion and enhance it with a few simple changes, resulting in notable improvement. When applied to learning world models on point cloud observations, Copilot4D reduces prior SOTA Chamfer distance by more than 65% for 1s prediction, and more than 50% for 3s prediction, across NuScenes, KITTI Odometry, and Argoverse2 datasets. Our results demonstrate that discrete diffusion on tokenized agent experience can unlock the power of GPT-like unsupervised learning for robotics.

연구 동기 및 목표

• 복잡하고 비구조화된 관측 공간과 확장 가능한 생성 모델의 부족으로 인해 비지도 세계 모델의 확장이 어려운 문제를 해결하기 위해.
• 토큰화와 이산 확산을 조합하여 로봇 에이전트에서 GPT 유사 비지도 학습을 가능하게 하기 위해.
• 감독 없이도 원시 LiDAR 관측치에서 직접 향후 포인트 클라우드 예측을 고품질, 다양성, 정확성 있게 생성하기 위해.
• 다른 자동차 주행 경로에 따라 미래 장면이 어떻게 변화하는지 모델링하여 반사적 추론을 지원하기 위해.
• 이산 확산을 토큰화된 관측치에 적용함으로써 로봇 에이전트에서 확장 가능하고 일반적인 세계 이해를 가능하게 할 수 있음을 입증하기 위해.

제안 방법

• 암시적 볼륨 렌더링 디코더를 갖춘 VQVAE를 사용해 원시 LiDAR 포인트 클라우드 관측치를 토큰화하여 이산 잠재 표현을 학습한다.
• 역과정에서 마스킹된 토큰을 노이즈 제거하는 방식으로 이산 확산 모델을 적용해 미래 포인트 클라우드 토큰을 생성한다.
• 마스킹된 생성형 이미지 트랜스포머(MaskGIT)를 이산 확산 프레임워크로 재구성하여 자동회귀 품질을 유지하면서도 다중 토큰을 병렬으로 디코딩할 수 있도록 한다.
• 토큰화된 세계 상태의 시공간적 의존성을 모델링하기 위해 교차 배치된 공간(BEV) 및 시간 블록을 갖춘 트랜스포머 아키텍처를 사용한다.
• 추론 시 언어 모델과 유사하게 상위 3개의 범주형 샘플링을 적용하여 생성의 다양성과 품질을 향상시킨다.
• 과거 관측치와 향후 자동차 주행 경로를 조건으로 하여 행동 조건 기반의 미래 예측을 생성한다.

실험 결과

연구 질문

• RQ1 VQVAE 임bedded 포인트 클라우드에 대한 이산 확산이 자율주행을 위한 비지도 향후 포인트 클라우드 예측에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 VQVAE 토큰화와 이산 확산의 조합이 복잡한 3차원 장면 역학의 확장 가능하고 병렬 처리가 가능한 고해상도 생성을 가능하게 하는가?
• RQ3 이 세계 모델이 다중 모드의 미래 결과를 학습하고 반사적 자동차 주행 행동에 적절히 반응할 수 있는가?
• RQ4 다양한 주행 벤치마크에서 카멘퍼 거리 측정 기준으로 이전 최신 기술 수준과 비교해 본 결과, 제안된 방법이 얼마나 우수한가?
• RQ5 이 모델이 새로운 차량이 장면에 들어오는 것을 상상하거나 주변 에이전트의 반응 행동을 예측할 수 있는 정도는 어느 정도인가?

주요 결과

• 제안된 방법은 NuScenes, KITTI 오도메트리, Argoverse2 데이터셋에서 1초 향후 포인트 클라우드 예측에 대해 카멘퍼 거리를 65%에서 75%까지 감소시켰다.
• 3초 예측에 대해서는 이전 최신 기술 수준 대비 카멘퍼 거리에서 50% 이상의 상대적 향상이 이루어져 장기 예측에서의 강력한 일반화 능력을 입증했다.
• 정성적 결과는 모델이 다양한 현실적인 다중 미래 예측을 생성하며 차량 간 상호작용과 운동 패턴 등의 장면 역학을 잘 포착하고 있음을 보여준다.
• 반사적 자동차 주행 경로가 주어졌을 때 일관된 대안 미래를 상상해내는 데 성공했으며, 충돌을 피하기 위해 브레이크를 밟는 등의 반응 행동도 잘 재현한다.
• 실패 사례는 새로운 차량이 장면에 들어오는 것을 예측하거나 장기 예측 역학을 모델링하는 데 한계를 보이며, 이는 아키텍처 결함가 아니라 데이터 및 모델 규모의 제약 때문임을 시사한다.
• 제거 분석 결과, 상위 3개의 범주형 샘플링과 수정된 MaskGIT 아키텍처를 갖춘 이산 확산은 기반 자동회귀 또는 비확산 방법에 비해 생성 품질과 다양성에서 뚜렷한 향상을 이룬다.