[논문 리뷰] MUVO: A Multimodal Generative World Model for Autonomous Driving with Geometric Representations

Daniel Bogdoll, Yitian Yang외 3명|arXiv (Cornell University)|2023. 11. 20.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

MUVO는 자율주행을 위한 다중모달, 비지도 학습 생성 세계 모델로, 원시 카메라 및 라이다 데이터에서 센서에 종속되지 않는 3D 기하학적 복셀 점유 표현을 학습한다. 동작 조건부로 미래의 카메라 이미지, 라이다 포인트 클라우드, 3D 점유 격자 모두를 동시에 예측함으로써, 모든 모odal에서 예측 품질을 향상시키며, 사전 학습된 기하학적 표현이 시각적 및 포인트 클라우드 생성 성능을 향상시킨다.

ABSTRACT

World models for autonomous driving have the potential to dramatically improve the reasoning capabilities of today's systems. However, most works focus on camera data, with only a few that leverage lidar data or combine both to better represent autonomous vehicle sensor setups. In addition, raw sensor predictions are less actionable than 3D occupancy predictions, but there are no works examining the effects of combining both multimodal sensor data and 3D occupancy prediction. In this work, we perform a set of experiments with a MUltimodal World Model with Geometric VOxel representations (MUVO) to evaluate different sensor fusion strategies to better understand the effects on sensor data prediction. We also analyze potential weaknesses of current sensor fusion approaches and examine the benefits of additionally predicting 3D occupancy.

연구 동기 및 목표

• 자율주행을 위한 원시 고해상도 카메라 및 라이다 데이터를 활용하는 비지도 학습 생성 세계 모델을 개발하는 것.
• 다중모달 센서 입력을 통해 센서에 종속되지 않는 3D 기하학적 환경 표현을 학습하는 것.
• 공유된 기하학적 이해를 통해 시각적 및 포인트 클라우드 관측의 미래 예측 품질을 향상시키는 것.
• 직접 3D 점유 격자를 출력하여 구조화된 세계 표현으로 하류 계획 작업을 가능하게 하는 것.
• 카메라 및 라이다 데이터만으로 사전 학습하는 것이 3D 점유 예측 성능 향상에 기여하는지 조사하는 것.

제안 방법

• 모델은 다중모달 입력을 위해 카메라 이미지와 라이다 포인트 클라우드를 각각 전용 인코더를 거쳐 처리한 후, 잠재 공간에서 다중모달 특징 융합을 수행한다.
• 전이 모델은 동작 시퀀스에 조건부로 미래 잠재 상태를 예측함으로써, 동작 조건부 미래 예측을 가능하게 한다.
• 예측된 잠재 상태는 세 가지 출력으로 디코딩된다: 고해상도 RGB 이미지, 원시 라이다 포인트 클라우드, 3D 복셀 점유 격자.
• 3D 점유 표현은 기하학적 인식 능력이 있는 센서에 종속되지 않는 세계 상태로 학습되어, 계획에 직접 활용 가능하다.
• 모델 초기화를 위해 카메라 및 라이다 데이터만으로 사전 학습을 수행하며, 미세조정 및 가중치 동결에 대한 분석 연구를 실시한다.
• 고해상도이자 시간적으로 일관된 미래 관측치 생성을 위해 비디오 디퓨전 기반 디코더를 사용한다.

Figure 1 : This example shows a high-resolution future prediction from MUVO for 3D occupancy and camera and lidar observations.

실험 결과

연구 질문

• RQ1 공유된 기하학적 인식 능력이 있는 3D 점유 격자 표현을 학습함으로써, 다중모달 생성 세계 모델이 미래 예측 품질을 향상시킬 수 있는가?
• RQ2 원시 카메라 및 라이다 데이터만으로 사전 학습하는 것이 3D 점유 예측에 의미 있는 공간 지식을 기여하는가?
• RQ3 학습된 3D 점유 표현이 카메라 이미지 및 라이다 포인트 클라우드 예측 품질 향상에 기여하는가?
• RQ4 사전 학습된 가중치를 사용할 때와 비교해, 3D 점유 예측 성능은 어떻게 달라지는가?
• RQ5 비지도 다중모달 환경에서 동작 조건부 3D 점유 예측은 실현 가능하고 유익한가?

주요 결과

• PTO(사전 학습, 개방형 가중치) 모델은 3D 점유 예측에서 IoU 및 Recall 측정치에서 NPT(사전 학습 없음) 모델을 앞서며, 사전 학습된 특징이 기하학적 추론 능력을 향상시킨다는 것을 시사한다.
• PTF(사전 학습, 동결) 모델은 시간이 지남에 따라 3D 점유 성능이 점진적으로 향상되었으며, 이는 카메라 및 라이다 인코더가 명시적 지도 없이도 부분적인 기하학적 정보를 이미 포함하고 있음을 보여준다.
• 3D 점유 예측을 통합함으로써, 라이다 포인트 클라우드의 Chamfer Distance와 RGB 이미지의 PSNR에서 약간이지만 일관된 향상이 나타났으며, 이는 다중모달 지식 전이 효과를 보여준다.
• 대부분의 측정치에서 RL 검증 세트에서의 성능이 DS 세트보다 뛰어났지만, IoU는 DS 세트에서 더 높았으며, 이는 희박한 격자에서의 예측 노이즈가 더 많기 때문이다.
• 초기 학습 단계에서 PTO 모델은 NPT를 앞섰지만, 점차 NPT가 정밀도 측정치에서 앞서며, 학습을 처음부터 시작할 경우 더 보수적인 예측 전략을 취한다는 것을 시사한다.
• MUVO는 실세계 센서 데이터를 사용하여 비지도 다중모달 환경에서 동작 조건부 3D 점유 예측을 처음으로 구현하였다.

Figure 2 : Overview of MUVO. Our model consists of three stages, from left to right. First, raw camera images and lidar point clouds are processed, encoded, and fused. The resulting latent representations are then fed into our transition model. Conditioned on actions, future states are predicted. Fi