[논문 리뷰] SceneGen: Learning to Generate Realistic Traffic Scenes

Shuhan Tan, Kelvin Wong외 4명|arXiv (Cornell University)|2021. 01. 16.

Autonomous Vehicle Technology and Safety참고 문헌 23인용 수 6

한 줄 요약

SceneGen는 주행 가능한 지ap도와 자동차 상태를 조건으로 하여 현실적이고 다양한, 의미적으로 일관된 교통 환경을 합성하는 딥 생성 모델을 제안한다. Actor 클래스, 위치, 크기, 방향에 대한 조건부 분포를 갖는 ConvLSTM 기반 아키텍처를 사용하여 고해상도의 다중 모odal성과 높은 현실성을 갖춘 시나리오를 생성하며, MMD 지표에서 기존 베이스라인을 능가하고 세단 주행, 복잡한 보행자 횡단과 같은 드문 일상적인 교통 행동도 재현한다.

ABSTRACT

We consider the problem of generating realistic traffic scenes automatically. Existing methods typically insert actors into the scene according to a set of hand-crafted heuristics and are limited in their ability to model the true complexity and diversity of real traffic scenes, thus inducing a content gap between synthesized traffic scenes versus real ones. As a result, existing simulators lack the fidelity necessary to train and test self-driving vehicles. To address this limitation, we present SceneGen, a neural autoregressive model of traffic scenes that eschews the need for rules and heuristics. In particular, given the ego-vehicle state and a high definition map of surrounding area, SceneGen inserts actors of various classes into the scene and synthesizes their sizes, orientations, and velocities. We demonstrate on two large-scale datasets SceneGen's ability to faithfully model distributions of real traffic scenes. Moreover, we show that SceneGen coupled with sensor simulation can be used to train perception models that generalize to the real world.

연구 동기 및 목표

• 자율주행 시뮬레이션을 위한 데이터 기반 생성 모델을 개발하여 현실적이고 다양한 교통 환경을 합성하는 것.
• 간단한 히ュ리스틱을 초월하여 복잡하고 다중 모달성 있는 교통 행동을 모델링하는 것, 특히 세단 주행이나 공유 차선 횡단과 같은 드문 일상적인 조작을 포함한다.
• 액터 속성에 대한 분류 및 혼합 분포를 통한 불확실성 모델링을 통해 시나리오 수준의 현실성을 향상시키는 것.
• 정적 고정밀도 지도와 자동차 상태를 조건으로 하여 제어 가능한 교통 환경 생성을 가능하게 하여, 후속 시뮬레이션 및 훈련 작업을 지원하는 것.

제안 방법

• 320×320의 베이비의 뷰 입력 표현을 사용하여 고정밀도 지도 요소(차선, 주행 가능한 영역, 횡단보도), 신호등, 속도 제한, 액터 상태(위치, 방향, 속도)를 다중 채널 래스터화된 형식으로 인코딩한다.
• 스페이셜-타임스패셜 컨텍스트를 인코딩하기 위해 2층의 ConvLSTM(32개의 은닉 채널, 5×5 커널)을 사용한 후, 특징 추출을 위한 5층의 CNN 본딩을 적용한다.
• 액터 속성을 조건부 확률 분포를 통해 예측: 클래스는 소프트맥스 출력을 갖는 3층의 MLP로 예측, 위치는 0.25m 격자 셀에 대한 균일한 양자화 및 분류 분포를 사용.
• 경계 상자 크기를 K개의 이元형 로그정규 분포 혼합으로 모델링하며, 양의 정의된 공분산을 보장하기 위해 로그 분산 및 상관 계수 항을 포함한 3층의 MLP로 파라미터를 예측한다.
• 방향 각도는 별도의 MLP로 파라미터를 예측하는 K개의 Von-Mises 분포 혼합으로 모델링하여 원형 분포 모델링을 가능하게 한다.
• 실현 가능성 향상을 위해 각 단계에서 M개의 후보 샘플을 생성하고, 가장 가능성 높은 샘플을 선택하는 '핵 샘플링 기반 전략'을 적용한다.

Figure 1 : The input multi-channel image to SceneGen for ATG4D.

실험 결과

연구 질문

• RQ1 딥 생성 모델이 히ュ리스틱으로 쉽게 모델링할 수 없는 복잡하고 다중 모달성 있는 행동을 반영하는 동시에 현실적이고 다양한 교통 시나리오를 생성할 수 있는가?
• RQ2 학습된 모델이 세단 주행이나 자전거 기반의 공유 차선 조작 등 드문 일상적인 시나리오에 얼마나 잘 일반화되는가?
• RQ3 샘플 후보 수 M의 수치가 시나리오 수준 통계, 특히 현실성과 다양성에 어떤 영향을 미치는가?
• RQ4 횡단보도에서의 분산된 분포나 차선 중심선에 집중된 배치와 같은 액터 위치의 공간적 불확실성을 모델이 정확히 표현할 수 있는가?
• RQ5 실제 교통 환경의 통계 분포를 포괄하는 데 있어 히ュ리스틱 기반 및 다른 학습 기반 베이스라인과 비교해 볼 때 모델의 성능은 어떠한가?

주요 결과

• SceneGen은 ATG4D 및 Argoverse 벤치마크에서 모두 가장 낮은 Fréchet Motion Distance(FMD)와 Multi-scale Structural Similarity(MSSIM) 지표를 기록하며, 비교된 모든 방법 중에서 가장 뛰어난 성능을 보였다.
• ATG4D에서 SceneGen은 차량 전용 시나리오 통계에 대해 MMD 0.042를 기록하여 MetaSim(0.071)과 Lane Graph(0.063)를 크게 앞서며, 액터 수준 분포의 뛰어난 현실성을 입증했다.
• M=20의 샘플 후보를 사용할 경우 M=1에 비해 깊이 있는 특징에서 MMD가 15% 감소하여, 더 많은 샘플링이 시나리오 수준의 현실성 향상과 모드 붕괴 감소에 기여함을 보였다.
• 정성적 결과에서 SceneGen은 세단 주행이나 자전거 기반의 왼쪽 차선 이용 전환과 같은 드문 일상적인 행동을 생성하는 것으로 확인되었으며, 이는 기존 베이스라인에서 관찰되지 않았다.
• 모델은 높은 다양성을 보였으며, 동일한 입력(SDV 상태 및 지도)에서 여러 샘플을 생성했을 때 보행자 횡단, 보호 없는 좌회전, 교차로에서 직진하는 버스 등 서로 다른 구성이 나타났다.
• 히트맵 시각화 결과, 모델이 의미 있는 공간적 불확실성을 학습하고 있음을 확인했다: 차량 위치는 차선 중심선에 집중되어 있고, 보행자 위치는 보행자 보도 및 횡단보도에 분산되어 있다.

Figure 2 : Traffic scenes generated by SceneGen using $M=1,10,20$ sample proposals for ATG4D.