[논문 리뷰] CVAE-H: Conditionalizing Variational Autoencoders via Hypernetworks and Trajectory Forecasting for Autonomous Driving

Geunseob Oh, Huei Peng|arXiv (Cornell University)|2022. 01. 24.

Autonomous Vehicle Technology and Safety인용 수 5

한 줄 요약

CVAE-H는 고차원적 환경 특징(예: LiDAR, 지ap, 궤적)으로부터 조건부로 VAE 가중치를 생성하는 하이퍼넷워크를 통합한 조건부 변동형 오토인코더를 제안하여 자율주행을 위한 확률적, 다중 모달, 맥락 기반, 일반화 가능한 궤적 예측을 가능하게 한다. 하이퍼넷워크를 통해 고차원의 환경 특징에서 VAE의 가중치를 조건부로 생성함으로써, PRECOG-Carla town01 벤치마크에서 minMSD 0.312를 기록하여 대부분의 생성 모델보다 뛰어난 성능을 내며, 불확실성 정량화를 유지한다.

ABSTRACT

The task of predicting stochastic behaviors of road agents in diverse environments is a challenging problem for autonomous driving. To best understand scene contexts and produce diverse possible future states of the road agents adaptively in different environments, a prediction model should be probabilistic, multi-modal, context-driven, and general. We present Conditionalizing Variational AutoEncoders via Hypernetworks (CVAE-H); a conditional VAE that extensively leverages hypernetwork and performs generative tasks for high-dimensional problems like the prediction task. We first evaluate CVAE-H on simple generative experiments to show that CVAE-H is probabilistic, multi-modal, context-driven, and general. Then, we demonstrate that the proposed model effectively solves a self-driving prediction problem by producing accurate predictions of road agents in various environments.

연구 동기 및 목표

• 자율주행 차량이 다양한 도심 환경에서 도로 이용자의 확률적, 다중 모달 행동을 예측하는 과제를 해결한다.
• 확률적, 다중 모달, 맥락 기반(사회적 및 공간적 특징을 모두 통합)이며 다양한 주행 시나리오에 일반화 가능한 예측 모델을 개발한다.
• 고정된 임bedding 레이어에 의존하는 전통적 조건부 VAE의 한계를 극복하기 위해, 고차원 입력에 대해 정보 흐름 향상과 확장성 향상을 위한 하이퍼넷워크 기반의 조건부 설정 메커니즘을 도입한다.
• 모델이 특정 시나리오에 맞게 조정되지 않고도 새로운 도심 환경에 적용 가능한 것을 입증한다.

제안 방법

• LiDAR 포인트 클라우드, 고정밀 지도, 레이블링된 궤적과 같은 고차원적 맥락 입력으로부터 VAE의 인코더 및 디코더 가중치를 생성하기 위해 하이퍼넷워크를 CVAE에 통합한다.
• 하이퍼넷워크를 통해 VAE의 모든 파라미터(예: 가중치 및 편향)를 동적으로 생성함으로써, 모든 네트워크 레이어를 통해 맥락 정보의 흐름을 향상시키고, 완전한 엔드 투 엔드 미분 가능성을 확보한다.
• 하이퍼넷워크의 출력을 통해 공간적 특징(예: 차선 구조, 정지 신호, 횡단보도)과 사회적 특징(예: 주변 대상의 상대적 위치 및 속도)을 모두 조건부로 설정한다.
• 재표현 기법을 사용한 변동형 추론 목표 함수를 사용하여 모델을 훈련하고, 효율적인 역전파를 가능하게 하기 위해 증거 하한 경량화 기준(ELBO)을 최적화한다.
• 예측 결과를 혼합 정규분포(Gaussian Mixture Model)로 출력하여 불확실성 정량화를 지원하고, 다중 모달 궤적 생성을 가능하게 한다.
• 하이퍼넷워크의 능력을 활용하여 깊이 또는 너비를 늘리지 않고도 고차원 입력에 대한 아키텍처 스케일링을 실현한다.

실험 결과

연구 질문

• RQ1 하이퍼넷워크 기반의 조건부 설정 메커니즘이 고차원 궤적 예측 작업에서 조건부 VAE의 표현력과 확장성 향상에 기여하는가?
• RQ2 CVAE-H는 다양한 도심 주행 환경에서 공간적 및 사회적 맥락을 효과적으로 포착하여 맥락 기반의 다중 모달 예측을 수행하는가?
• RQ3 기본 벤치마크 데이터셋에서 예측 정확도 및 불확실성 정량화 측면에서 CVAE-H는 최신 기술 모델과 비교해 어떤가?
• RQ4 CVAE-H는 재학습이나 시나리오 특화 적응 없이도 예측 불가능한 주행 시나리오에 얼마나 잘 일반화되는가?

주요 결과

• CVAE-H는 K=12개의 궤적 샘플로 PRECOG-Carla town01 테스트 세트에서 minMSD 0.312를 기록하여, Social-GAN(1.464), R2P2(0.843), DESIRE(2.599)를 포함한 대부분의 생성 모델보다 뛰어난 성능을 보였다.
• 확률적일 뿐 아니라 다양한 다중 모달 예측을 생성할 수 있음에도 불구하고, 결정론적 MFP 모델(0.279 minMSD)과 경쟁 가능한 성능을 달성했다.
• CVAE-H는 대기열 역학을 성공적으로 포착했다: 앞서 있는 차량은 전진할 수 있으며, 이는 x축 방향으로 확장된 불확실성으로 표현되며, 뒤에 있는 차량은 정지해 있는 것으로 예측함으로써 맥락 인식 행동을 보였다.
• 모델은 환경 간 일반화가 가능했다: 단일 훈련 모델을 사용하여 다양한 구성(예: 다양한 대기열 길이)에서도 일관되고 환경에 적합한 예측 결과를 보였다.
• 혼합 정규분포(GMM) 출력 레이어의 사용으로 불확실성 정량화가 가능해졌으며, 예측 궤적에 대한 확률 분포를 제공함으로써 후속 계획 모듈에 필수적인 요소가 되었다.
• CVAE-H는 강력한 일반화 성능을 보였다: 모든 다섯 대의 차량에 대해 정확하고 다양한, 맥락에 부합하는 예측을 생성했으며, 개별 minMSD 값은 Car 1(0.151)에서 Car 5(0.404)까지 다양했지만, 모두 기준 모델보다 낮았다.