[논문 리뷰] SRA-LSTM: Social Relationship Attention LSTM for Human Trajectory Prediction

Yusheng Peng, Gaofeng Zhang외 3명|arXiv (Cornell University)|2021. 03. 31.

Video Surveillance and Tracking Methods참고 문헌 32인용 수 6

한 줄 요약

이 논문은 SRA-LSTM이라는 새로운 궤적 예측 모델을 제안한다. 이 모델은 사회적 관계 주의를 LSTM 아키텍처에 통합하여 보행자 간의 사회적 관계와 운동 상호작용을 동시에 모델링한다. 상대적 위치를 통해 사회적 유대를 표현하고, 주의 메커니즘을 사용해 이웃의 영향력을 가중치화함으로써, ETH 및 UCY 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다. 기존 방법보다 개인 및 그룹 상호작용 시나리오에서 모두 뛰어난 성능을 보인다.

ABSTRACT

Pedestrian trajectory prediction for surveillance video is one of the important research topics in the field of computer vision and a key technology of intelligent surveillance systems. Social relationship among pedestrians is a key factor influencing pedestrian walking patterns but was mostly ignored in the literature. Pedestrians with different social relationships play different roles in the motion decision of target pedestrian. Motivated by this idea, we propose a Social Relationship Attention LSTM (SRA-LSTM) model to predict future trajectories. We design a social relationship encoder to obtain the representation of their social relationship through the relative position between each pair of pedestrians. Afterwards, the social relationship feature and latent movements are adopted to acquire the social relationship attention of this pair of pedestrians. Social interaction modeling is achieved by utilizing social relationship attention to aggregate movement information from neighbor pedestrians. Experimental results on two public walking pedestrian video datasets (ETH and UCY), our model achieves superior performance compared with state-of-the-art methods. Contrast experiments with other attention methods also demonstrate the effectiveness of social relationship attention.

연구 동기 및 목표

• 기존 궤적 예측 모델이 보행자 간의 사회적 관계를 간과하는 한계를 해결한다.
• 친구 관계나 낯선이 관계와 같은 사회적 관계가 궤적 예측 과정에서 보행자의 운동 결정에 미치는 영향을 모델링한다.
• 주의 메커니즘을 통해 사회적 관계 표현과 잠재 운동 패턴을 통합함으로써 사회적 상호작용 모델링을 향상시킨다.
• 운동 상호작용과 사회적 맥락을 동시에 캡처함으로써 궤적 예측 정확도를 향상시킨다.
• 공개 벤치마크(ETH 및 UCY)에서 최신 기술 수준의 방법들보다 뛰어난 성능을 입증한다.

제안 방법

• 보행자 쌍 간의 상대적 위치에서 특징을 추출하여 사회적 관계를 표현하는 사회적 관계 인코더를 설계한다.
• 각 보행자의 관측 궤적에서 잠재 운동 패턴을 인코딩하기 위해 별도의 LSTM을 사용한다.
• 운동 LSTM과 사회적 관계 인코더의 은닉 상태를 사용해 사회적 관계 주의를 계산함으로써 이웃의 영향력을 동적으로 가중치화한다.
• 주의 메커니즘은 이웃 보행자의 운동 패턴과 사회적 관계 특징을 기반으로 이동 정보를 집계한다.
• 최종 예측은 사회적 관계 주의 모듈을 통해 운동 LSTM 출력과 가중 이웃 정보를 조합함으로써 생성된다.
• 예측된 궤적과 진짜 궤적 간의 평균 제곱오차 손실을 사용해 아키텍처를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 운동 상호작용 외에 사회적 관계 정보를 통합함으로써 궤적 예측 성능이 어떻게 향상되는가?
• RQ2 사회적 관계 주의가 친구와 낯선이의 영향을 보행자 운동 결정에서 효과적으로 구분할 수 있는가?
• RQ3 제안된 SRA-LSTM 모델은 개인 회피 및 그룹 회피와 같은 다양한 군중 상호작용 시나리오에 잘 일반화되는가?
• RQ4 표준 벤치마크 데이터셋에서 최신 기술 수준의 방법들과 비교해 정량적으로 어떻게 성능가능한가?
• RQ5 모델의 실패 케이스는 무엇이며, 보행자 동기 및 환경 구조 이해에 대한 모델링의 잔여 한계는 무엇인가?

주요 결과

• SRA-LSTM는 ETH 및 UCY 보행자 궤적 예측 벤치마크에서 최신 기술 수준의 성능을 달성했으며, 평균 이격 오차(ADE) 및 최종 이격 오차(FDE) 측면에서 기존 방법들을 능가한다.
• 보행자들이 충돌을 피하기 위해 협동적으로 움직이는 그룹 회피 시나리오에서 모델이 뛰어난 성능을 보였으며, 기준 모델보다 진짜 궤적에 더 가까운 예측을 한다.
• 정성적 결과는 사회적 관계 주의 덕분에 친구 간의 동조된 행동(예: 동기화된 회전 또는 경로 조정)을 정확히 포착함을 보여준다.
• 제거 실험 결과, 공간적 또는 운동 특징에만 의존하는 표준 주의 메커니즘보다 사회적 관계 주의가 예측 정확도를 크게 향상시킨다.
• 벽과 같은 환경 제약로 인해 보행자가 멈출 경우 모델은 관측 궤적만으로는 이러한 동기를 파악하지 못하므로 실패한다.
• 실패 케이스는 향후 환경 구조 및 운동 동기 이해 통합이 더 강력한 내구성을 확보하기 위해 필요하다는 점을 시사한다.