[논문 리뷰] OccWorld: Learning a 3D Occupancy World Model for Autonomous Driving

Wenzhao Zheng, Weiliang Chen외 4명|arXiv (Cornell University)|2023. 11. 27.

Advanced Neural Network Applications인용 수 5

한 줄 요약

OccWorld는 3D 의미적 점유율을 기반으로 한 자기지도 학습을 통해 미래 시점의 장면 변화와 자율주행 차량의 궤적을 동시에 예측하는 3D 점유율 월드 모델을 제안한다. 이 모델은 VQ-VAE 토크나이저와 공간-시간 생성형 트랜스포머를 활용하여 이산적인 장면 및 자동차 토큰을 예측하며, 인스턴스나 지ap 슈퍼바이저 없이도 최신 기술 수준의 4차원 점유율 예측(mIoU 17.13)과 경쟁 가능한 계획 성능(L2 오차 1.16)을 달성한다.

ABSTRACT

Understanding how the 3D scene evolves is vital for making decisions in autonomous driving. Most existing methods achieve this by predicting the movements of object boxes, which cannot capture more fine-grained scene information. In this paper, we explore a new framework of learning a world model, OccWorld, in the 3D Occupancy space to simultaneously predict the movement of the ego car and the evolution of the surrounding scenes. We propose to learn a world model based on 3D occupancy rather than 3D bounding boxes and segmentation maps for three reasons: 1) expressiveness. 3D occupancy can describe the more fine-grained 3D structure of the scene; 2) efficiency. 3D occupancy is more economical to obtain (e.g., from sparse LiDAR points). 3) versatility. 3D occupancy can adapt to both vision and LiDAR. To facilitate the modeling of the world evolution, we learn a reconstruction-based scene tokenizer on the 3D occupancy to obtain discrete scene tokens to describe the surrounding scenes. We then adopt a GPT-like spatial-temporal generative transformer to generate subsequent scene and ego tokens to decode the future occupancy and ego trajectory. Extensive experiments on the widely used nuScenes benchmark demonstrate the ability of OccWorld to effectively model the evolution of the driving scenes. OccWorld also produces competitive planning results without using instance and map supervision. Code: https://github.com/wzzheng/OccWorld.

연구 동기 및 목표

• 비용이 많이 들는 인스턴스 수준의 지도 및 지도 레이블에 의존하는 기존의 인식-예측-계획 파이프라인의 한계를 해결하기 위해.
• 객체 경계상자 이상의 세밀한 공간적·시간적 이해를 바탕으로 3D 주행 장면의 진화를 모델링하기 위해.
• 3D 점유율만을 입력으로 사용하여 미래 점유율과 자동차 궤적을 모두 예측하는 자기지도 학습 월드 모델을 개발하기 위해.
• 인스턴스나 지도 슈퍼바이저 없이도 해석 가능하고 종단 간 자율주행을 가능하게 하기 위해.
• 3D 점유율이 세계 모델링을 위한 더 표현력 있고 효율적이며 다재다능한 표현 방식임을 입증하기 위해.

제안 방법

• 3D 의미적 점유율에서 이산적인 장면 토크나이저를 학습하기 위해 벡터 양자화 변동형 자동인코더(VQ-VAE)를 사용하여 자기지도 학습 표현을 가능하게 한다.
• 공간 혼합을 먼저 적용하여 다중 척도의 장면 토큰을 집계한 후 시간 주의를 사용하여 시퀀스 진화를 모델링함으로써, 공간-시간 생성형 트랜스포머가 순차적으로 미래 장면 및 자동차 토큰을 예측한다.
• 공간 혼합 모듈은 다양한 공간 수준의 장면 토큰을 집계하여 계층적인 장면 구조를 포착함으로써 특징 표현을 향상시킨다.
• 다양한 공간 수준의 토큰에 시간 주의를 적용하여 시간적 의존성을 모델링하고 다음 프레임의 토큰을 예측한다.
• U-Net 기반 디코더는 예측된 장면 토큰에서 미래 3D 점유율을 재구성하고, 별도의 궤적 디코더는 자동차 운동 예측을 생성한다.
• 지상 진술의 경계상자나 고정밀 지도가 필요 없이 재구성 및 미래 예측 목표를 사용하여 종단 간으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 인스턴스나 지도 슈퍼바이저 없이도 자기지도 학습 기반의 3D 점유율 월드 모델이 미래 장면 변화와 자동차 궤적을 효과적으로 예측할 수 있는가?
• RQ2 기존의 3D 경계상자 기반 방법과 비교했을 때, 3D 점유율 공간에서 장면 진화를 모델링하는 것이 정확도와 표현력 측면에서 어떻게 다른가?
• RQ3 장면과 자동차 궤적의 공동 모델링이 예측 및 계획 성능에 어떤 영향을 미치는가?
• RQ4 공간 혼합 및 시간 주의와 같은 아키텍처 구성 요소가 미래 점유율과 궤적 예측 능력에 어떤 영향을 미치는가?
• RQ5 3D 점유율이 종단 간 자율주행을 위한 통합적이고 효율적이며 다용도적인 표현으로 사용될 수 있는가?

주요 결과

• OccWorld는 2초 간의 역사 정보를 기반으로 3초 후의 4차원 점유율 예측에서 평균 교차율(mIoU) 17.13을 달성하여 강력한 장면 진화 예측 능력을 입증한다.
• 인스턴스나 지도 슈퍼바이저 없이도 L2 오차 1.16로 자동차 궤적 예측을 수행하여 경쟁 가능한 계획 성능을 보였다.
• 실제 3D 점유율을 사용하는 OccWorld-O는 지도나 상자 슈퍼바이저 없이도 OccNet—인식-예측-계획 파이프라인—을 크게 앞서는 성능을 보였다.
• 제거 실험 결과, 공간 집합과 시간 주의가 4차원 점유율 예측 및 운동 계획 모두에 필수적임을 확인하였으며, 이를 제거할 경우 성능이 크게 떨어졌다.
• 어떤 경우에서는 실제 지도보다 더 자연스럽고 타당한 주행 가능한 영역을 생성하여, 모델이 훈련 데이터를 암기하는 것이 아니라 장면의 의미를 학습하고 있음을 시사한다.
• 입력 히스토리에 존재하지 않는 새로운 차량이 장면에 등장할 경우 이를 예측하는 데 어려움을 겪어 일반화 능력의 핵심 과제임을 드러냈다.