[논문 리뷰] CMTS: Conditional Multiple Trajectory Synthesizer for Generating Safety-critical Driving Scenarios

Wenhao Ding, Mengdi Xu외 1명|arXiv (Cornell University)|2019. 09. 17.

Autonomous Vehicle Technology and Safety참고 문헌 55인용 수 6

한 줄 요약

CMTS는 도로 지도 조건 하에 안전 주행 경로와 충돌 경로의 잠재 표현 간의 보간을 통해 희귀하고 안전에 중요한 주행 시나리오를 합성하는 변동 베이지안 프레임워크를 제안한다. 실제 데이터셋에 존재하지 않는 가까스러운 충돌 경로를 생성함으로써 CMTS는 위험한 상황에서의 궤적 예측 정확도와 강건성을 크게 향상시키며, 최신 모델을 사용한 Argoverse 벤치마크에서 검증되었다.

ABSTRACT

Naturalistic driving trajectories are crucial for the performance of autonomous driving algorithms. However, most of the data is collected in safe scenarios leading to the duplication of trajectories which are easy to be handled by currently developed algorithms. When considering safety, testing algorithms in near-miss scenarios that rarely show up in off-the-shelf datasets is a vital part of the evaluation. As a remedy, we propose a near-miss data synthesizing framework based on Variational Bayesian methods and term it as Conditional Multiple Trajectory Synthesizer (CMTS). We leverage a generative model conditioned on road maps to bridge safe and collision driving data by representing their distribution in the latent space. By sampling from the near-miss distribution, we can synthesize safety-critical data crucial for understanding traffic scenarios but not shown in neither the original dataset nor the collision dataset. Our experimental results demonstrate that the augmented dataset covers more kinds of driving scenarios, especially the near-miss ones, which help improve the trajectory prediction accuracy and the capability of dealing with risky driving scenarios.

연구 동기 및 목표

• 실제 데이터셋에서 근접 충돌 및 안전에 중요한 주행 데이터의 부족 문제를 해결하기 위해.
• 안전하고 반복적인 시나리오를 넘어서 궤적 예측 모델의 일반화 능력을 향상시키기 위해.
• 잠재 공간 보간을 사용하여 현실적이며 희귀한 주행 행동을 합성하는 데이터 증강 프레임워크를 개발하기 위해.
• 지도 조건부 생성 모델을 통해 안전 경로와 충돌 경로 간의 분포 격차를 해소하기 위해.
• 합성 데이터가 자율 주행 시스템의 예측 정확도와 위험 인식 능력 향상에 미치는 영향을 평가하기 위해.

제안 방법

• CMTS는 궤적과 도로 지도의 동시 분포를 모델링하기 위해 순차적 궤적 인코더, 지도 인코더, 궤적 디코더를 갖춘 조건부 변동 오토인코더를 사용한다.
• 스타일 전이를 적용하여 도로 구조와 주행 행동을 분리함으로써 잠재 공간에서 지도 조건부 생성을 가능하게 한다.
• 모델은 안전 경로와 충돌 경로의 잠재 표현을 별도로 학습한 후, 이를 보간하여 중간에 위치한 근접 충돌 시나리오를 생성한다.
• 잠재 공간 보간은 도로 지도 임베딩에 조건화되어 있어 생성된 궤적이 기하학적으로 타당함을 보장한다.
• 변동 추론을 활용하여 불확실성을 모델링하고 다양한 현실적인 주행 행동을 생성한다.
• 합성 데이터는 보간된 분포에서 샘플링하여 생성되며, 하이퍼파rameter λ는 위험 시나리오에 가까운 정도를 제어한다.

실험 결과

연구 질문

• RQ1 생성 모델이 실제 세계 데이터셋에 존재하지 않는 희귀하고 안전에 중요한 주행 시나리오를 효과적으로 합성할 수 있는가?
• RQ2 안전 경로와 충돌 경로 간의 잠재 공간 보간이 시나리오의 다양성과 현실성에 어떻게 기여하는가?
• RQ3 CMTS가 생성한 데이터가 위험한 주행 시나리오에서 궤적 예측 모델의 성능을 어느 정도 향상시키는가?
• RQ4 지도 조건부 생성이 합성된 궤적의 타당성과 공간 일관성에 어떻게 기여하는가?
• RQ5 합성 데이터가 원본 데이터셋의 분포를 초월한 예측 모델의 일반화 능력을 향상시킬 수 있는가?

주요 결과

• CMTS로 증강된 데이터셋은 비모수적 베이지안 클러스터링에서 K=215개의 클러스터를 기록하여 원본 데이터셋이나 충돌 데이터셋보다 더 높은 시나리오 다양성을 나타냈다.
• CMTS+OD의 경우 OD 단독 사용보다 더 높은 K 값을 기록함으로써, CMTS가 기존에 없던 궤적 클러스터를 도입했다는 것을 입증했다.
• Argoverse 벤치마크에서 CMTS로 생성된 데이터로 훈련된 모델은 모든 세 가지 궤적 예측 모델(Vanilla-LSTM, Social-LSTM, CS-LSTM)에서 가장 낮은 MSE, MDV, MDN 성능을 기록했다.
• 여섯 개의 설계된 위험한 시나리오에서 CMTS 데이터로 훈련된 모델은 원본 데이터나 변형된 데이터로 훈련된 모델보다 더 매끄럽고 정확한 예측을 내놓았으며, OD로 훈련된 모델은 근접 충돌 케이스에 일반화하지 못했다.
• T-SNE 시각화 결과, 보간된 샘플들이 잠재 공간에서 안전 경로에서 충돌 경로로 이어지는 유기적이고 연속적인 경로를 형성함을 확인하여, 모델이 타당한 중간 시나리오를 생성할 수 있음을 검증했다.
• 이 프레임워크는 원본 데이터셋이나 충돌 데이터에 존재하지 않는 희귀한 근접 충돌 궤적을 성공적으로 생성하여, 안전에 중요한 시나리오에 대한 효과적인 데이터 증강을 실현했다.