[논문 리뷰] Asymmetrical Bi-RNN for pedestrian trajectory encoding

Raphaël Rozenberg, Joseph Gesnouin외 1명|arXiv (Cornell University)|2021. 06. 01.

Autonomous Vehicle Technology and Safety참고 문헌 29인용 수 9

한 줄 요약

이 논문은 보행자 궤적 예측을 향상시키기 위해 향후 궤적 정보를 전방 인코딩 중에 활용하는 비대칭 양방향 RNN인 U-RNN을 제안한다. Trajnet++에서의 실험 결과, U-LSTM는 ADE, FDE 및 충돌 지표에서 표준 LSTMs를 모두 능가하며, 궤적 예측 모델의 우수한 시퀀스 인코더로 입증된다.

ABSTRACT

Pedestrian motion behavior involves a combination of individual goals and social interactions with other agents. In this article, we present an asymmetrical bidirectional recurrent neural network architecture called U-RNN to encode pedestrian trajectories and evaluate its relevance to replace LSTMs for various forecasting models. Experimental results on the Trajnet++ benchmark show that the U-LSTM variant yields better results regarding every available metrics (ADE, FDE, Collision rate) than common trajectory encoders for a variety of approaches and interaction modules, suggesting that the proposed approach is a viable alternative to the de facto sequence encoding RNNs. Our implementation of the asymmetrical Bi-RNNs for the Trajnet++ benchmark is available at: github.com/JosephGesnouin/Asymmetrical-Bi-RNNs-to-encode-pedestrian-trajectories

연구 동기 및 목표

• 비대칭 양방향 RNN이 보행자 궤적 인코딩에서 표준 LSTMs를 능가할 수 있는지 조사한다.
• 전방 통과 중 향후 맥락을 활용할 경우 궤적 예측 정확도가 향상되는지 평가한다.
• 보행자 운동에서의 선호되는 시간 방향이 비대칭 아키텍처 설계를 정당화하는지 확인한다.
• 기존의 인코더-디코더 궤적 예측 프레임워크에 즉시 적용 가능한 대체 기법을 제공한다.
• U-RNN를 사용하여 보행자 운동에서 장기 의존성의 영향을 평가한다 (LSTM vs GRU의 다양한 순환 단위 사용)

제안 방법

• 전방 인코딩 중 향후 정보를 활용하는 비대칭 양방향 RNN인 U-RNN을 제안하며, 먼저 역방향 통과를 수행하고, 이후 전방 통과에서 미래 인식(hidden states)을 사용한다.
• 이중 단계 프로세스를 적용한다: 첫째, 전체 궤적을 처리하여 향후 맥락을 캐치하는 역방향 RNN; 둘째, 이 맥락을 사용하여 과거 위치를 인코딩하는 전방 RNN.
• 궤적 예측을 위한 표준 인코더-상호작용-디코더 파이프라인에서 U-RNN을 시퀀스 인코더로 적용한다.
• U-RNN에 LSTM 및 GRU 단위를 모두 사용하여, 다양한 상호작용 모듈(방향 풀링, 사회적 풀링, 점유 풀링)에서의 성능을 비교한다.
• 표준 지표인 ADE, FDE 및 충돌 비율(Col-I, Col-II)을 사용하여 Trajnet++ 벤치마크에서 평가한다.
• 보행자 운동에서 전방 방향이 선호되는 시간 방향임을 검증하기 위해 역전된 U-RNN 버전을 사용한다.

실험 결과

연구 질문

• RQ1 향후 정보를 전방 인코딩 중에 활용하는 비대칭 양방향 RNN이 표준 LSTMs보다 궤적 예측 성능을 향상시킬 수 있는가?
• RQ2 U-RNN의 성능 향상 요인이 보행자 궤적의 장기 의존성을 잘 포착하기 때문인가?
• RQ3 보행자 운동 모델링에서 전방 방향을 주요 인코딩 방향으로 사용할 경우에 유의미한 이점이 있는가?
• RQ4 U-RNN 아키텍처가 다양한 상호작용 모듈 및 예측 기반 모델에서 표준 LSTMs를 일관되게 능가하는가?
• RQ5 U-RNN의 성능 향상 요인이 아키텍처의 비대칭성 때문인지, 아니면 단지 LSTMs를 GRUs보다 더 잘 사용하기 때문인가?

주요 결과

• U-LSTM는 Trajnet++ 벤치마크에서 모든 지표에서 표준 LSTM을 능가하여 더 낮은 ADE 및 FDE를 기록한다.
• U-LSTM 인코더는 일정 속도 기반 베이스라인 대비 충돌 비율(Col-I)을 50% 이상 감소시킨다.
• U-LSTM가 U-GRU보다 성능이 뛰어나므로, 성능 향상 요인이 장기 의존성의 더 나은 모델링 때문임을 시사한다.
• 역전된 U-LSTM는 표준 U-LSTM보다 성능이 열 劣하므로, 보행자 운동에서 전방 방향이 선호되는 시간 방향임을 확인한다.
• 사회적 풀링 및 점유 풀링을 사용할 때도 U-LSTM는 표준 LSTMs를 능가하므로, 광범위한 적용 가능성을 보여준다.
• 결과적으로 시퀀스 인코딩이 궤적 예측에서 핵심 요소임을 입증하며, U-RNN은 LSTMs의 강력한 대안임을 확인한다.