[논문 리뷰] PRANK: motion Prediction based on RANKing

Yuriy Biktairov, Maxim Stebelev외 3명|arXiv (Cornell University)|2020. 10. 22.

Autonomous Vehicle Technology and Safety참고 문헌 26인용 수 8

한 줄 요약

PRANK은 자율주행에서 실시간으로 운동 예측을 수행하는 방법으로, 사전 구축된 궤적 뱅크와 잠재 궤적 공간 내에서의 근접한 이웃 검색을 활용하여 다중모드 향후 궤적을 효율적으로 모델링한다. 시나리오 인코딩과 순위 기반 궤적 선택을 조합함으로써 Argoverse 및 내부 데이터셋에서 경쟁적인 성능을 달성하며, 물리적으로 타당한 예측과 저지연 추론을 보장한다.

ABSTRACT

Predicting the motion of agents such as pedestrians or human-driven vehicles is one of the most critical problems in the autonomous driving domain. The overall safety of driving and the comfort of a passenger directly depend on its successful solution. The motion prediction problem also remains one of the most challenging problems in autonomous driving engineering, mainly due to high variance of the possible agent's future behavior given a situation. The two phenomena responsible for the said variance are the multimodality caused by the uncertainty of the agent's intent (e.g., turn right or move forward) and uncertainty in the realization of a given intent (e.g., which lane to turn into). To be useful within a real-time autonomous driving pipeline, a motion prediction system must provide efficient ways to describe and quantify this uncertainty, such as computing posterior modes and their probabilities or estimating density at the point corresponding to a given trajectory. It also should not put substantial density on physically impossible trajectories, as they can confuse the system processing the predictions. In this paper, we introduce the PRANK method, which satisfies these requirements. PRANK takes rasterized bird-eye images of agent's surroundings as an input and extracts features of the scene with a convolutional neural network. It then produces the conditional distribution of agent's trajectories plausible in the given scene. The key contribution of PRANK is a way to represent that distribution using nearest-neighbor methods in latent trajectory space, which allows for efficient inference in real time. We evaluate PRANK on the in-house and Argoverse datasets, where it shows competitive results.

연구 동기 및 목표

• 의도 모호성과 실행 불확실성으로 인해 미래 행동이 다양해지는 자율주행 환경에서 다중모드이자 불확실한 에이전트 운동 예측 문제를 해결한다.
• 불확실성을 효율적으로 모델링하고 빠른 접근성을 제공하는 실시간 운동 예측 시스템을 개발한다.
• 불가능한 궤적을 방지함으로써 후속 계획 모듈을 오도하지 않도록 물리적으로 타당한 예측을 보장한다.
• 대부분의 계산을 오프라인 사전처리로 이관함으로써 실시간 배포에 적합한 저지연 추론을 가능하게 한다.
• 메트릭 학습과 근사 근접 이웃 검색을 활용하여 복잡한 생성 모델의 대안으로서 확장 가능하고 효율적인 솔루션을 제공한다.

제안 방법

• 실제 세계의 에이전트 이동 관측치에서 학습된 고정된 사전 학습된 궤적 뱅크에 기반해 향후 에이전트 궤적을 분포로 표현한다.
• 레이스터라이즈된 위성뷰 이미지에 대해 컨볼루션 신경망을 사용해 시나리오 임베딩을 생성한다.
• 학습된 메트릭을 사용해 시나리오 임베딩과 궤적 뱅크 항목을 동일한 잠재 공간에 매핑함으로써 효과적인 유사도 계산을 가능하게 한다.
• 시나리오 맥락에 기반해 잠재 공간에서 근사 근접 이웃(ANN) 검색을 수행하여 뱅크에서 가장 관련성이 높은 궤적을 검색한다.
• 검색된 궤적을 사용해 사후 모드, 확률 및 밀도 추정치를 계산함으로써 효율적인 다중모드 예측을 수행한다.
• 최종 예측을 도출하기 위해 몬테카를로 샘플링 또는 모드 집계를 통해 ANN 결과를 후처리함으로써 불확실성 정량화를 구현한다.

실험 결과

연구 질문

• RQ1 사전 구축된 궤적 뱅크와 함께 순위 기반 접근 방식이 실시간 추론을 가능하게 하면서도 경쟁적인 운동 예측 성능을 달성할 수 있는가?
• RQ2 학습된 잠재 공간 내에서의 근사 근접 이웃 검색이 다중모드이자 물리적으로 타당한 향후 궤적을 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 정확도와 지연 시간 측면에서 최신 생성 모델에 비해 성능이 뛰어나거나 유사한가?
• RQ4 궤적 뱅크가 한 지역의 데이터로 학습되고 다른 지역에서 테스트될 경우, 분포 이탈은 어떻게 영향을 미치는가?
• RQ5 시나리오 맥락에 기반해 궤적 선택을 개선함으로써 시나리오 특화 제약 조건을 통합할 수 있는가?

주요 결과

• PRANK은 경쟁 특화 튜닝 없이도 2020년 6월 기준 Argoverse 운동 예측 챌린지에서 상위 3위를 기록했으며, ADE@1은 1.298 ± 0.001, FDE@1은 1.298 ± 0.001을 기록했다.
• 벡터넷과 uulm-mrm 참가자에 비해 더 단순한 시나리오 표현을 사용했음에도 불구하고 성능을 뛰어넘었으며, 이는 순위 기반 접근 방식의 효과성을 입증한다.
• 다른 데이터셋에서 학습된 궤적 뱅크를 Argoverse에 적용했을 때 성능 향상이 없었으며, 이는 도로 구조 및 행동 패턴의 지역적 차이로 인한 분포 이탈이 있음을 시사한다.
• 단일 GPU와 CPU 코어에서 5명의 에이전트에 대해 추론 지연 시간이 200ms 이내였으며, 시나리오 인코딩이 주요 병목이었다. 공유된 특징 맵을 사용함으로써 50명의 에이전트에 대해 비용을 줄이고 품질 손실를 최소화할 수 있었다.
• 랭킹 및 후처리 단계의 추론 시간이 매우 낮아 150개 결과에 대해 3ms 미만이었으며, 이는 실시간 배포에 적합함을 의미한다.
• 실제 데이터 기반의 현실적인 궤적 뱅크에 의존함으로써 물리적으로 불가능한 궤적을 예측하지 않아, 후속 계획 모듈에서의 강인성을 향상시켰다.