[논문 리뷰] Recursive Social Behavior Graph for Trajectory Prediction

Jianhua Sun, Qinhong Jiang외 1명|arXiv (Cornell University)|2020. 04. 22.

Autonomous Vehicle Technology and Safety참고 문헌 44인용 수 17

한 줄 요약

이 논문은 거리에 영향을 받지 않는 관계를 포착하기 위해 그룹 기반 애너테이션을 사용하여 인간 궤적 예측에서 사회적 상호작용을 모델링하는 새로운 그래프 기반 방법인 Recursive Social Behavior Graph (RSBG)를 제안한다. RSBG에 의해 유도되는 그래프 컨volution 네트워크를 통해 보행자 특징을 반복적으로 업데이트함으로써, ETH 및 UCY 데이터셋에서 최신 기술 대비 ADE와 FDE에서 평균 11.1% 및 10.8% 향상된 성능을 달성한다.

ABSTRACT

Social interaction is an important topic in human trajectory prediction to generate plausible paths. In this paper, we present a novel insight of group-based social interaction model to explore relationships among pedestrians. We recursively extract social representations supervised by group-based annotations and formulate them into a social behavior graph, called Recursive Social Behavior Graph. Our recursive mechanism explores the representation power largely. Graph Convolutional Neural Network then is used to propagate social interaction information in such a graph. With the guidance of Recursive Social Behavior Graph, we surpass state-of-the-art method on ETH and UCY dataset for 11.1% in ADE and 10.8% in FDE in average, and successfully predict complex social behaviors.

연구 동기 및 목표

• 거리 기반 상호작용 모델링의 한계를 해결하기 위해, 따라가기나 충돌 회피와 같은 복잡한 사회적 행동을 포착하지 못하는 문제를 해결한다.
• 공간적 근접성을 초월한 사회적 관계를 모델링하기 위해, 잠재적 사회적 표현을 학습하기 위한 지도로 그룹 기반 애너테이션을 도입한다.
• 그래프 신경망을 활용해 사회적 상호작용 정보를 반복적으로 업데이트되는 사회적 행동 그래프를 통해 전파함으로써 궤적 예측 정확도를 향상시킨다.
• 그룹 수준의 사회적 규범과 장거리 상호작용이 딥 러닝 프레임워크 내에서 효과적으로 포착되고 활용될 수 있음을 보여준다.

제안 방법

• 보행자를 노드로, 그룹 수준의 상호작용 패턴을 인코딩하는 사회적 표현(에지)을 갖는 Recursive Social Behavior Graph (RSBG)를 구성한다.
• 전문가가 라벨링한 그룹 애너테이션을 사용해 사회적 표현의 학습을 지도함으로써, 유클리드 거리 외부의 잠재적 사회적 관계를 학습할 수 있도록 한다.
• 메시지 전달을 통해 그래프 내에서 개인 보행자 특징과 사회적 표현을 번갈아가며 반복적으로 업데이트하는 재귀적 메커니즘을 구현한다.
• Graph Convolutional Networks (GCNs)를 적용해 RSBG 내 노드 간의 사회적 상호작용 특징을 전파하고 집계함으로써 궤적 예측 성능을 향상시킨다.
• 학습 중 FDE(Final Distance Error)를 강조하기 위해 하이퍼파rameter γ를 사용하는 지수적 L2 손실 함수를 활용한다. 이는 최종 예측 정확도 향상에 기여한다.
• 역사적 궤적 특징을 각 노드의 입력으로 통합함으로써, 사회적 행동의 시간적 동역학을 고려할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 그룹 기반 애너테이션은 궤적 예측에서 거리 기반 외부 복잡한 사회적 상호작용을 모델링하는 데 효과적인가?
• RQ2 사회적 행동 그래프에서의 재귀적 특징 정련은 정적 또는 거리 기반 방법에 비해 예측 정확도를 어떻게 향상시키는가?
• RQ3 GCNs는 동적으로 업데이트되는 그래프 구조를 통해 사회적 상호작용 정보를 얼마나 효과적으로 전파할 수 있는가?
• RQ4 제안된 방법은 복잡한 장면에서 따라가기, 합류, 충돌 회피와 같은 다양한 사회적 행동에 일반화되는가?
• RQ5 손실 함수에서 FDE를 강조함으로써 표준 L2 손실에 비해 더 나은 최종 예측 성능을 달성하는가?

주요 결과

• 제안된 RSBG 모델은 ETH 및 UCY 벤치마크 데이터셋에서 최신 기술 대비 평균 ADE(평균 이동 오차)에서 11.1% 향상되고, FDE(최종 이동 오차)에서 10.8% 향상된 성능을 달성한다.
• 모델은 거리 기반 모델이 탐지하지 못하는 장거리 사회적 관계, 예를 들어 멀리 떨어져 있는 사람을 따라가는 보행자와 같은 상황도 성공적으로 포착한다.
• RSBG 엣지 가중치의 시각화 결과, 조건이 가까이 있지 않더라도 따라가기 행동이나 충돌 회피와 같은 일관된 사회적 규범을 모델이 학습하고 있음을 확인할 수 있다.
• γ=20인 지수적 L2 손실이 최적의 트레이드오프를 제공하며, 표준 L2 손실 대비 ADE와 FDE를 각각 4.0%와 4.8% 감소시킨다.
• 정성적 결과에서는 RSBG가 다른 모델이 놓치는 합류, 따라가기, 갈등 회피 행동을 정확히 예측하는 더 사회적으로 타당한 궤적을 생성함을 보여준다.
• 재귀적 메커니즘은 개인 특징과 사회적 표현을 반복적으로 정교화함으로써 더 정확하고 맥락에 부합하는 예측을 가능하게 한다.