[논문 리뷰] Diverse Sampling for Normalizing Flow Based Trajectory Forecasting.

Yecheng Jason, Jeevana Priya Inala외 2명|arXiv (Cornell University)|2020. 11. 30.

Autonomous Vehicle Technology and Safety참고 문헌 11인용 수 11

한 줄 요약

이 논문은 사전 훈련된 노멀라이징 플로우 모델로부터 단일 순방향 전파 내에서 다양하고 높은 가능도를 가진 궤적 집합을 생성하는 Diversity Sampling for Flow (DSF)를 제안한다. 개별 궤적의 가능도와 공간적 분리도를 동시에 최적화함으로써 DSF는 샘플 품질과 다양성을 향상시키며, 차량 및 보행자 예측 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

For autonomous cars to drive safely and effectively, they must anticipate the stochastic future trajectories of other agents in the scene, such as pedestrians and other cars. Forecasting such complex multi-modal distributions requires powerful probabilistic approaches. Normalizing flows have recently emerged as an attractive tool to model such distributions. However, when generating trajectory predictions from a flow model, a key drawback is that independent samples often do not adequately capture all the modes in the underlying distribution. We propose Diversity Sampling for Flow (DSF), a method for improving the quality and the diversity of trajectory samples from a pre-trained flow model. Rather than producing individual samples, DSF produces a set of trajectories in one shot. Given a pre-trained forecasting flow model, we train DSF using gradients from the model, to optimize an objective function that rewards high likelihood for individual trajectories in the predicted set, together with high spatial separation between trajectories. DSF is easy to implement, and we show that it offers a simple plug-in improvement for several existing flow-based forecasting models, achieving state-of-art results on two challenging vehicle and pedestrian forecasting benchmarks.

연구 동기 및 목표

• 다중 모달 궤적 분포에서 모든 모드를 커버하지 못하는 정규화 플로에서의 독립적 샘플링의 한계를 해결하기 위해.
• 기본 플로 모델을 재훈련하지 않고도 궤적 예측의 다양성과 품질을 향상시키기 위해.
• 기존 플로 기반 예측 모델을 최소한의 구현 오버헤드로 향상시킬 수 있는 플러그인 방식의 방법을 개발하기 위해.
• 개별 궤적의 높은 가능도와 예측된 궤적 간의 공간적 분리도를 동시에 최적화하기 위해.
• 차량 및 보행자에 대한 과제가 까다로운 다중 모달 궤적 예측 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• DSF는 개별 궤적을 독립적으로 샘플링하는 대신, 한 번의 순방향 전파로 궤적 집합을 생성한다.
• 각 궤적의 로그 가능도와 공간적 분리에 기반한 다양성 정규화 항을 조합한 미분 가능한 목적 함수를 최적화한다.
• 다양성 항은 궤적 집합 내 궤적이 공간적으로 분리되도록 유도하여 기저 분포의 다수의 모드를 커버하도록 한다.
• 사전 훈련된 플로 모델의 기울기를 사용하여 DSF를 엔드 투 엔드로 훈련함으로써 궤적 집합의 효율적 최적화를 가능하게 한다.
• 최적화는 확률적 경사 하강법을 사용하며, 목적 함수는 플로 모델의 가능도 계산을 통해 미분 가능하다.
• DSF는 어떤 사전 훈련된 정규화 플로우 모델과도 호환되며, 재훈련 없이도 인퍼런스 시점 모듈로 적용 가능하다.

실험 결과

연구 질문

• RQ1 사전 훈련된 정규화 플로우 모델에서 궤적 예측의 다양성과 품질을 향상시키기 위해 후처리 샘플링 방법이 효과적인가?
• RQ2 플로 모델 하에서 높은 가능도를 유지하면서 예측 궤적 간의 공간적 분리도를 어떻게 최적화할 수 있는가?
• RQ3 가능도와 다양성의 동시 최적화가 다중 모달 궤적 예측 벤치마크에서 더 나은 성능을 이끌어내는가?
• RQ4 DSF는 재훈련 없이도 기존 플로 기반 모델에 플러그인 솔루션으로 적용 가능한가?
• RQ5 DSF는 차량 및 보행자 궤적 예측에서 최신 기술 수준의 성능에 어떤 영향을 미치는가?

주요 결과

• DSF는 궤적 간의 공간적 분리를 높임으로써 궤적 예측의 다양성을 크게 향상시킨다.
• DSF는 nuScenes 및 Waymo Open Motion 예측 벤치마크에서 모두 최신 기술 수준의 성능을 달성한다.
• DSF는 궤적 집합 내 궤적의 가능도를 높이며 다수의 모드를 유지함으로써 예측 품질을 향상시킨다.
• DSF는 재훈련 없이도 인퍼런스 시점 모듈로 효과적으로 기능한다.
• 제거 실험을 통해 목적 함수의 가능도 및 다양성 구성 요소가 성능 향상에 기여한다는 것이 확인되었다.
• 결과적으로 가능도와 다양성의 동시 최적화가 복잡한 다중 모달 궤적 분포에서 더 나은 일반화 성능을 이끌어낸다.