[논문 리뷰] SR-LSTM: State Refinement for LSTM towards Pedestrian Trajectory Prediction

Pu Zhang, Wanli Ouyang외 3명|arXiv (Cornell University)|2019. 03. 07.

Anomaly Detection Techniques and Applications참고 문헌 51인용 수 33

한 줄 요약

SR-LSTM 은 메시지 전달을 통해 보행자 LSTM 상태를 공동으로 정제하기 위한 사회 인지 정보 선택 모듈을 도입하여 현재 이웃의 상태와 적응적 이웃 선택을 활용해 보행자의 LSTM 상태를 정제합니다. ETH 및 UCY 데이터셋에서 최첨단 성능을 달성합니다.

ABSTRACT

In crowd scenarios, reliable trajectory prediction of pedestrians requires insightful understanding of their social behaviors. These behaviors have been well investigated by plenty of studies, while it is hard to be fully expressed by hand-craft rules. Recent studies based on LSTM networks have shown great ability to learn social behaviors. However, many of these methods rely on previous neighboring hidden states but ignore the important current intention of the neighbors. In order to address this issue, we propose a data-driven state refinement module for LSTM network (SR-LSTM), which activates the utilization of the current intention of neighbors, and jointly and iteratively refines the current states of all participants in the crowd through a message passing mechanism. To effectively extract the social effect of neighbors, we further introduce a social-aware information selection mechanism consisting of an element-wise motion gate and a pedestrian-wise attention to select useful message from neighboring pedestrians. Experimental results on two public datasets, i.e. ETH and UCY, demonstrate the effectiveness of our proposed SR-LSTM and we achieves state-of-the-art results.

연구 동기 및 목표

• 현재 이웃의 의도를 통합하여 보행자 궤적 예측의 정확성을 높이고자 한다.
• 메시지 전달을 통해 모든 보행자의 LSTM 상태를 반복적으로 정제하는 상태 정제 모듈을 개발한다.
• 유용한 이웃 특징을 적응적으로 선택하기 위한 사회 인지 정보 선택을 도입한다.
• 정제가 과거의 은닉 상태뿐만 아니라 현재 이웃의 상태를 활용하도록 한다.
• ETH 및 UCY 데이터셋에서 최첨단 결과로 효과를 시연한다.

제안 방법

• 보행자당 일반 LSTM을 사용하여 궤적을 인코딩한다.
• 개별 보행자 간 메시지 전달을 통해 셀 상태를 정제하는 States Refinement (SR) 모듈을 추가한다.
• 보행자별 주의력(attention)과 모션 게이트를 통해 이웃 특징을 선택하는 사회 인지 정보 선택 메커니즘을 구현한다.
• 주의(attention)와 모션 게이트를 갖춘 주고받기 M을 정의하여 이웃의 기여를 가중한다( Eq. 7–10 ).
• 다음 위치를 예측하기 전에 더 깊은 상호 작용을 모델링하기 위해 여러 차례 정제 반복(L)을 허용한다.

실험 결과

연구 질문

• RQ1 현재 이웃의 상태를 활용하여 궤적 예측을 위한 보행자 간 상호 작용을 더 잘 추론할 수 있는가?
• RQ2 적응적 특징 선택(모션 게이트 및 보행자별 주의력)이 균일 가중치보다 메시지 전달의 효과를 향상시키는가?
• RQ3 정제 반복 횟수의 예측 정확도에 미치는 영향은 무엇인가?
• RQ4 ETH/UCY 데이터셋에서 기존의 소셜 LSTM 및 GAN 기반 접근법과 비교하여 SR-LSTM의 성능은 어떠한가?

주요 결과

• 사회 인지 메시지 전달을 갖춘 SR-LSTM은 ETH/UCY에서 MAD/FAD 기준으로 기초선 대비 예측 정확도를 향상시킨다.
• 모션 게이트와 보행자별 주의력을 모두 사용하면 가장 큰 개선이 발생하며(Table 2의 Variant 5).
• 여러 차례의 정제(L)를 거치면 성능이 향상되며, 일반적으로 두 차례가 최적이다.
• 이전 상태뿐만 아니라 현재 이웃의 상태를 사용하는 것이 예측 정확도에 상당한 이점을 준다.
• SR-LSTM은 V-LSTM, S-LSTM, SGAN, Sophie와 비교해 경쟁력 있는 또는 우수한 결과를 달성한다 (Table 3).