[논문 리뷰] View Vertically: A Hierarchical Network for Trajectory Prediction via Fourier Spectrums

Conghao Wong, Beihao Xia외 6명|arXiv (Cornell University)|2021. 10. 14.

Autonomous Vehicle Technology and Safety참고 문헌 26인용 수 4

한 줄 요약

이 논문은 이산 푸리에 변환(DFT)을 활용하여 주파수 대역에서 에이전트의 운동 선호도를 분석하는 계층적 궤적 예측 모델인 V²-Net을 제안한다. 저주파수는 거시적 운동 추세를, 고주파수는 미세한 상호작용을 나타낸다. 이 방법은 두 단계의 접근 방식을 사용한다: 먼저 핵심 주파수에서 스펙트럼 성분을 추정하고, 이후에 보간을 통해 부드럽고 타당한 궤적을 재구성한다. 이로써 ETH-UCY 및 스탠포드 드론 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Understanding and forecasting future trajectories of agents are critical for behavior analysis, robot navigation, autonomous cars, and other related applications. Previous methods mostly treat trajectory prediction as time sequence generation. Different from them, this work studies agents' trajectories in a "vertical" view, i.e., modeling and forecasting trajectories from the spectral domain. Different frequency bands in the trajectory spectrums could hierarchically reflect agents' motion preferences at different scales. The low-frequency and high-frequency portions could represent their coarse motion trends and fine motion variations, respectively. Accordingly, we propose a hierarchical network V$^2$-Net, which contains two sub-networks, to hierarchically model and predict agents' trajectories with trajectory spectrums. The coarse-level keypoints estimation sub-network first predicts the "minimal" spectrums of agents' trajectories on several "key" frequency portions. Then the fine-level spectrum interpolation sub-network interpolates the spectrums to reconstruct the final predictions. Experimental results display the competitiveness and superiority of V$^2$-Net on both ETH-UCY benchmark and the Stanford Drone Dataset.

연구 동기 및 목표

• 기존 방법이 궤적 예측을 순차적 생성으로 간주하여 시간 척도 전반에 걸친 계층적 운동 선호도를 놓치는 한계를 해결하기 위해.
• 푸리에 변환을 활용해 궤적의 '수직적' 스펙트럼 시각화를 탐색하여 거시적 및 세부 운동 패턴을 동시에 포착하기 위해.
• 전반적인 계획(저주파수 성분)과 상호작용 선호도(고주파수 성분)를 별도로 모델링하는 계층적 딥 러닝 프레임워크를 개발하기 위해.
• 스펙트럼 재구성 과정을 통해 환경 제약 조건과 물리 법칙을 통합함으로써 예측 정확성과 타당성을 향상시키기 위해.
• 스펙트럼 키포인트 수를 조절하여 제어 가능하고 다중 모달의 궤적 생성을 가능하게 하기 위해.

제안 방법

• 모델은 두 가지 분지 아키텍처를 사용한다: 선택된 핵심 주파수에서 스펙트럼 성분을 예측하는 거시 수준의 키포인트 추정 서브넷.
• 미세 수준의 스펙트럼 보간 서브넷은 역푸리에 변환을 사용하여 추정된 스펙트럼 키포인트 간의 보간을 통해 전체 궤적을 재구성한다.
• 스펙트럼 키포인트 서브넷에 잠재 노이즈 벡터 $ z \sim N(0,I) $ 를 사용하여 다중 확률적 예측을 생성함으로써 다중 모달 출력을 가능하게 한다.
• 이 방법은 2차원 궤적 시퀀스를 스펙트럼 표현으로 변환하기 위해 이산 푸리에 변환(DFT)을 활용하여 저주파수 및 고주파수 성분을 분리한다.
• 보간된 스펙트럼에서 유도된 사인파 성분을 초월하여 재구성함으로써 시공간 연속성과 부드러움을 확보한다.
• 예측 궤적의 현실성과 다양성을 향상시키기 위해 재구성 손실과 적대적 손실의 조합으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 스펙트럼 도메인에서 궤적을 모델링하면 시간 도메인에서 쉽게 관찰되지 않는 계층적 운동 패턴을 드러낼 수 있는가?
• RQ2 궤적 스펙트럼의 저주파수 및 고주파수 성분을 어떻게 활용하여 거시적 운동 추세와 세부 상호작용 세부 정보를 별도로 모델링할 수 있는가?
• RQ3 스펙트럼 키포인트와 보간을 사용하는 두 단계의 계층적 프레임워크가 궤적 예측 정확성과 다양성 향상에 얼마나 기여하는가?
• RQ4 스펙트럼 키포인트의 수가 예측 다양성과 타당성 사이의 트레이드오���에 어떤 영향을 미치는가?
• RQ5 표준 순환 시퀀스 모델링에 비해 스펙트럼 기반 모델링이 물리적 제약 조건과 사회적 상호작용 규칙을 더 잘 포착할 수 있는가?

주요 결과

• V²-Net은 ETH-UCY 벤치마크와 스탠포드 드론 데이터셋 모두에서 최신 기준 성능을 달성하여 뛰어난 예측 정확성을 입증하였다.
• 스펙트럼 키포인트 수($ N_{key} $)를 늘릴수록 운동 추세를 더 잘 제약함으로써 예측의 타당성이 향상되지만, 지나치게 많은 키포인트는 다양성을 감소시키고 성능을 떨어뜨린다.
• DFT 성분에서 유도된 사인파 재구성의 본질적 연속성 덕분에 모델은 더 매끄럽고 물리적으로 현실적인 궤적을 생성한다.
• 시각화 결과는 V²-Net이 환경 제약 조건을 준수함을 보여주며, 예를 들어 잔디를 피하거나 교통 원형을 정확히 통과하는 등 복잡한 환경에 대해 뛰어난 일반화 능력을 보인다.
• 모델은 교차로나 교통 원형을 통과하는 데 있어 여러 가지 타당한 경로를 성공적으로 포착하여 맥락에 적합한 선택을 한다.
• 절단 분석 결과 계층적 스펙트럼 접근 방식이 정량적 지표와 정성적 현실성 측면에서 표준 시퀀스 기반 모델보다 뛰어난 성능을 보임을 확인하였다.