[논문 리뷰] DiversityGAN: Diversity-Aware Vehicle Motion Prediction via Latent Semantic Sampling

Xin Huang, Stephen G. McGill외 5명|arXiv (Cornell University)|2019. 11. 28.

Autonomous Vehicle Technology and Safety참고 문헌 68인용 수 5

한 줄 요약

DiversityGAN은 메트릭 학습을 통해 저차원의 의미적 공간을 형상화함으로써 자율주행에서 궤적 예측을 향상시키는 잠재 의미 샘플링 방법을 도입한다. 이는 효율적이고 다양한, 정확한 차량 운동 행동의 샘플링을 가능하게 하며, 특히 2~6개의 샘플만으로도 융합 및 전환과 같은 희귀한 동작의 커버리지를 향상시켜 최신 기술 수준의 예측 성능을 달성한다.

ABSTRACT

Vehicle trajectory prediction is crucial for autonomous driving and advanced driver assistant systems. While existing approaches may sample from a predicted distribution of vehicle trajectories, they lack the ability to explore it -- a key ability for evaluating safety from a planning and verification perspective. In this work, we devise a novel approach for generating realistic and diverse vehicle trajectories. We extend the generative adversarial network (GAN) framework with a low-dimensional approximate semantic space, and shape that space to capture semantics such as merging and turning. We sample from this space in a way that mimics the predicted distribution, but allows us to control coverage of semantically distinct outcomes. We validate our approach on a publicly available dataset and show results that achieve state-of-the-art prediction performance, while providing improved coverage of the space of predicted trajectory semantics.

연구 동기 및 목표

• 기존의 운동 예측 모델에서의 다양성과 커버리지 부족 문제, 특히 융합 및 전환과 같은 희귀하지만 핵심적인 운전 행동에 대해 해결하고자 한다.
• 완전한 운전 동작 분류 체계가 필요 없이도 의미적으로 구분된 결과를 포괄하는 효율적인 샘플링 전략을 개발하고자 한다.
• 계획자들이 다양한 실질적인 궤적 가설을 고려할 수 있도록 함으로써 자율주행의 정확성과 안전성을 향상시키고자 한다.
• 의미적 의미(예: 전복, 차선 변경 등)가 명시적으로 모델링되고 제어 가능한 분리된 잠재 공간을 구축하고자 한다.
• 실제 도시 주행 데이터셋에서 정량적 및 정성적 분석을 통해 커버리지와 정확도를 검증하고자 한다.

제안 방법

• 모델은 의미 수준의 행동과 세부 궤적 정보를 분리하는 분리된 잠재 공간을 갖춘 GAN 프레임워크를 확장한다.
• 메트릭 학습 손실을 적용하여 의미 잠재층을 형상화함으로써, 동일한 고수준 레이블을 가진 궤적은 공간적으로 가까이, 다른 레이블은 멀리 떨어지도록 한다.
• 원거리 점 샘플링(Farthest Point Sampling, FPS)을 사용하여 잠재 공간에서 다각도의 궤적 샘플을 선택함으로써, 서로 다른 의미 모드의 커버리지를 확보한다.
• 생성자 네트워크는 지도 특징과 주변 에이전트 상태를 입력으로 받아, 잠재 코드에 조건부로 미래 궤적을 생성한다.
• 판별자 네트워크는 실제 궤적과 생성된 궤적을 구분함으로써 출력 분포의 현실성에 대한 제약을 강화한다.
• 샘플링은 낮은 빈도로 나타나는 의미적 행동을 우선시하도록 고수준 잠재 벡터를 조정함으로써, 분포의 정밀도를 유지하면서도 커버리지를 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 정의된 분류 체계가 없이도, 전복 및 융합과 같은 고수준 의미적 행동을 포괄할 수 있도록 잠재 공간을 형상화할 수 있는가?
• RQ2 일반적인 샘플링 대비 원거리 점 샘플링(Farhest Point Sampling, FPS)이 궤적의 다양한 모드 커버리지에 더 효과적인가?
• RQ3 제안된 방법은 희귀하지만 안전에 중요한 행동을 효율적으로 커버하면서도 최신 기술 수준의 예측 정확도를 달성할 수 있는가?
• RQ4 학습된 의미 잠재 공간은 계획 및 검증을 위한 해석 가능하고 제어 가능한 샘플링을 얼마나 잘 가능하게 하는가?
• RQ5 복잡한 다중 에이전트 상호작용을 포함한 실제 도시 주행 데이터에서 이 방법은 어떤 성능을 보이는가?

주요 결과

• 제안된 FPS 샘플링 방법은 단지 2~6개의 샘플로도 MoN 손실을 8% 감소시켜, 커버리지에서 뛰어난 효율성과 정확도를 입증하였다.
• 특히 소수의 샘플 수에서 직접 샘플링 대비, FPS 샘플링이 전복, 융합, 차선 변경과 같은 다양한 운전 코드의 커버리지에서 뛰어난 성능을 보였다.
• 정성적 결과에서는 FPS가 관측된 궤적과 일치하는 희귀하지만 핵심적인 사건(예: 오른쪽 전복, 차선 변경)을 성공적으로 생성하여 예측 정확도를 향상시켰다.
• 모델은 낮은 확률이지만 안전에 중요한 행동(예: 차선 변경)을 포함하는 다양한 샘플을 생성하였으며, 이는 자동차 주행 결정에서 충돌 회피에 필수적인 요소였다.
• 잠재 의미 공간은 의미적으로 의미 있는 것으로 밝혀졌으며, 동일한 운전 레이블을 가진 궤적의 공간적 군집화와 다양한 행동 간의 분리가 확인되었다.
• Argoverse 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 정확도 및 다양성 커버리지 측면에서 이전의 접근 방식을 모두 능가하였다.