[논문 리뷰] TPCN: Temporal Point Cloud Networks for Motion Forecasting

Maosheng Ye, Tongyi Cao외 1명|arXiv (Cornell University)|2021. 03. 04.

Autonomous Vehicle Technology and Safety참고 문헌 38인용 수 7

한 줄 요약

TPCN는 에이전트 트레이젝터리와 맵 데이터를 공동의 공간-시간 공간 내 점으로 간주함으로써 공간적 및 시간적 특징을 동시에 모델링하는 새로운 시간적 포인트 클라우드 네트워크를 제안한다. 이는 이중 표현 공간 학습과 다중 간격 모델링 및 인스턴스 풀링을 통한 동적 시간 학습을 사용하여 Argoverse 벤치마크에서 최신 기술 수준 성능을 달성하였으며, minADE₁은 1.66m, minFDE₁은 3.69m를 기록하였다.

ABSTRACT

We propose the Temporal Point Cloud Networks (TPCN), a novel and flexible framework with joint spatial and temporal learning for trajectory prediction. Unlike existing approaches that rasterize agents and map information as 2D images or operate in a graph representation, our approach extends ideas from point cloud learning with dynamic temporal learning to capture both spatial and temporal information by splitting trajectory prediction into both spatial and temporal dimensions. In the spatial dimension, agents can be viewed as an unordered point set, and thus it is straightforward to apply point cloud learning techniques to model agents' locations. While the spatial dimension does not take kinematic and motion information into account, we further propose dynamic temporal learning to model agents' motion over time. Experiments on the Argoverse motion forecasting benchmark show that our approach achieves the state-of-the-art results.

연구 동기 및 목표

• 운동 예측에서 래스터화된 표현이나 그래프 기반 표현의 한계를 해결하기 위해 에이전트와 맵을 공동의 공간-시간 공간 내 포인트 클라우드로 모델링한다.
• 고정된 상호작용 그래프나 가변 길이 시퀀스에 대한 강성 있는 패딩에 의존하지 않고 공간 기하학과 시간 역학을 공동으로 학습할 수 있도록 한다.
• 분류 기반의 딱딱한 할당을 피하기 위해 다중 모달 궤적 예측을 이동량 회귀로 재정의함으로써 성능을 향상시킨다.
• 기하학적 및 순차적 맥락을 모두 활용하여 공간 모듈과 시간 모듈 간 상호 전파를 통해 특징 학습을 향상시킨다.

제안 방법

• 에이전트 트레이젝터리와 맵 데이터를 공동의 공간-시간 공간 내 순서 없는 점 집합으로 표현함으로써 포인트 클라우드 학습 기법을 직접 적용할 수 있도록 한다.
• 점별 및 볼록체 기반 특징을 추출하여 기하학적 국소성과 구조를 유지하는 이중 표현 공간 학습을 도입한다.
• 패딩 없이 가변 길이 시퀀스에서 세밀한 시간 역학을 포착하기 위해 다중 간격 학습을 통한 동적 시간 학습을 제안한다.
• 시간 특징을 적응적으로 집계하기 위해 인스턴스 풀링을 활용하여 시간 변화에 대한 강인성을 향상시킨다.
• 공간 모듈과 시간 모듈 간 상호 특징 전파를 사용하여 공간 특징이 시간 모델링에 영향을 주고 반대로 시간 특징이 공간 모델링에 영향을 주도록 한다.
• 분류 기반의 딱딱한 할당을 피하기 위해 회귀 손실을 사용하여 다중 모달 궤적 선택을 이동량 회귀로 재정의한다.

실험 결과

연구 질문

• RQ1 공동의 공간-시간 포인트 클라우드 학습이 래스터화된 표현이나 그래프 기반 표현보다 운동 예측에서 더 나은 성능을 내는가?
• RQ2 패딩 없이 가변 길이의 에이전트 이력 시퀀스에 대해 시간 모델링을 어떻게 강인하게 만들 수 있는가?
• RQ3 공간 모듈과 시간 모듈 간의 상호 특징 전파가 궤적 예측 정확도를 향상시키는가?
• RQ4 분류 기반 접근 방식보다 이동량 기반의 다중 모달 궤적 선택이 더 나은 성능을 내는가?
• RQ5 정확한 운동 예측을 위해 맵 토폴로지와 비에이전트 차량의 포함이 얼마나 중요한가?

주요 결과

• TPCN는 Argoverse 운동 예측 벤치마크에서 최신 기술 수준 성능을 달성하여 minADE₁ 1.66m, minFDE₁ 3.69m, MR₁ 0.588로 새로운 SOTA 기록을 수립하였다.
• 이 모델은 최초로 minADE₁ < 1.7m, minFDE₁ < 3.7m, MR₁ < 0.59를 동시에 달성하여 이전 방법에 비해 상당한 향상을 보였다.
• 제거 실험 결과 맵 데이터나 비에이전트 차량을 제거하면 성능이 크게 떨어지며, 이는 다중 모달 입력의 중요성을 입증한다.
• 데이터 증강은 모든 지표를 향상시켰으며, 특히 minFDE에서 두드러진 개선을 보여 강인성과 일반화 능력 향상을 시사한다.
• 모든 K 설정에서 분류 기반 손실보다 회귀 손실을 사용한 이동량 예측이 더 우수한 성능을 보였으며, minADE와 minFDE 모두 낮아졌다.
• 모델은 교차로와 같은 어려운 케이스에서도 매끄럽고 맵 기반 제약을 받으며 타당한 다중 모달 궤적을 생성하여 잘 일반화됨을 보였다.