[논문 리뷰] TPNet: Trajectory Proposal Network for Motion Prediction

Liangji Fang, Qinhong Jiang외 2명|arXiv (Cornell University)|2020. 04. 26.

Autonomous Vehicle Technology and Safety참고 문헌 46인용 수 11

한 줄 요약

TPNet는 예측된 종점 위치를 바탕으로 궤적 제안을 생성한 다음 학습된 제약 조건을 사용하여 이를 분류하고 정밀화하는 이단계 운동 예측 프레임워크를 제안한다. 이로 인해 차량과 보행자에 대해 다중모드, 안전하고 물리적으로 일관된 예측이 가능해지며, 제안 생성 과정에 교통 규칙과 의도 모델링을 통합함으로써 ETH, UCY, Apollo, Argoverse 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Making accurate motion prediction of the surrounding traffic agents such as pedestrians, vehicles, and cyclists is crucial for autonomous driving. Recent data-driven motion prediction methods have attempted to learn to directly regress the exact future position or its distribution from massive amount of trajectory data. However, it remains difficult for these methods to provide multimodal predictions as well as integrate physical constraints such as traffic rules and movable areas. In this work we propose a novel two-stage motion prediction framework, Trajectory Proposal Network (TPNet). TPNet first generates a candidate set of future trajectories as hypothesis proposals, then makes the final predictions by classifying and refining the proposals which meets the physical constraints. By steering the proposal generation process, safe and multimodal predictions are realized. Thus this framework effectively mitigates the complexity of motion prediction problem while ensuring the multimodal output. Experiments on four large-scale trajectory prediction datasets, i.e. the ETH, UCY, Apollo and Argoverse datasets, show that TPNet achieves the state-of-the-art results both quantitatively and qualitatively.

연구 동기 및 목표

• 자율주행을 위한 다중모드, 물리적으로 일관된 운동 예측을 생성하는 데 도전하는 것.
• 예측 파ip라인에 교통 규칙과 이동 가능한 영역 제약 조건을 통합하여 안전성과 해석 가능성 향상.
• 복잡한 의도 기반 행동과 분포 불확실성을 다루는 데 어려움을 겪는 엔드 투 엔드 회귀 모델의 한계를 극복하는 것.
• 다양한 가능한 미래 경로에 대한 제안을 생성함으로써 다양한 의도 인식 예측을 가능하게 하는 것.
• 도로 구조 및 신호등과 같은 사전 지식을 통합할 수 있는 융통성 있는 프레임워크 제공.

제안 방법

• TPNet는 이중 단계 파이프라인을 사용한다: 먼저 예측된 종점 위치를 바탕으로 후보 향후 궤적(제안)을 생성하고, 이후 이를 분류 및 정밀화한다.
• 제안 생성 단계는 예측된 종점 위치 위에 격자 기반 앵커 시스템을 사용하며, 최적의 커버리지와 효율성을 확보하기 위해 격자 크기와 간격을 조정한다.
• 딥 네트워크는 각 제안의 가능성과 차선 주행 영역과 같은 물리적 제약 조건과의 호환성에 따라 제안을 분류한다.
• 회귀 헤드는 선택된 제안을 정밀화하여 최종 궤적 예측 오차를 최소화한다.
• 프레임워크는 이동 가능한 영역 외부의 제안을 퇴적 함수로 처벌함으로써 안전성을 확보하여 물리적으로 타당한 출력을 보장한다.
• 세분화된 지도와 시나리오 컨텍스트는 제안 생성을 안내하고 다양한 시나리오에서의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 제안 생성과 정밀화를 분리함으로써 이단계 프레임워크가 다중모드 운동 예측을 향상시킬 수 있는가?
• RQ2 드라이브 가능한 영역과 같은 물리적 제약 조건을 딥 러닝 기반 운동 예측에 효과적으로 통합할 수 있는가, 이는 안전성 향상에 기여하는가?
• RQ3 다른 가능한 미래 경로에 대한 별도의 궤적 제안을 통해 에이전트의 의도를 모델링하면 예측의 다양성과 정확도가 얼마나 향상되는가?
• RQ4 장거리, 다중모드 운동 예측을 다룰 때 제안된 방법이 엔드 투 엔드 회귀 모델보다 얼마나 우수한가?
• RQ5 다양한 교통 참가자(차량, 보행자)와 다양한 시나리오 복잡도를 가진 데이터셋 간에 프레임워크가 일반화 가능한가?

주요 결과

• TPNet는 ETH, UCY, ApolloScape, Argoverse 등 네 개의 대규모 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, Argoverse에서 FDE는 3.88m를 기록하였다.
• 제거 실험 결과, 분류 및 회귀 헤드를 제거하면 FDE가 3.88m에서 4.01m로 증가하여 이중 단계 정밀화의 가치를 확인하였다.
• 6m×6m 격자에 1m 간격을 사용할 경우 최고의 성능(FDE: 3.87m)을 기록하였으며, 더 큰 격자는 검색 공간 증가로 인해 성능 저하를 초래하였다.
• 안전 인식 버전(TPNet-map-safe)은 DAC 점수 0.99를 기록하여 이동 가능한 영역 제약 조건을 매우 신뢰성 있게 준수함을 나타내었다.
• 정성적 결과는 TPNet가 교차로에서 회전하거나 직진하는 등의 다양한 의도 인식 예측을 생성하면서도 안전하지 않은 경로를 피하는 것을 보여주었다.
• 프레임워크는 차량과 보행자 모두를 효과적으로 처리하여 다양한 에이전트 유형과 도시 환경에서의 강건성을 입증하였다.