[논문 리뷰] Proceedings of the 24th Computer Vision Winter Workshop

Haddad, Sirin, Wu, Meiqing외 2명|arXiv (Cornell University)|2019. 02. 13.

Autonomous Vehicle Technology and Safety참고 문헌 26인용 수 53

한 줄 요약

이 논문은 붐비는 장면에서 보행자 간 상호작용과 보행자-장애물 상호작용을 모두 모델링하기 위해 동적 어텐션 메커니즘을 갖춘 시공간 그래프 기반 LSTM을 제안한다. 정적 장애물을 가까이 있을 경우에만 포함시키고, 공간 및 시간 차원에서 다중 헤드 어텐션 메커니즘을 사용함으로써, 기준 데이터셋에서 최신 기술 대비 ADE를 최대 55% 감소시키고 FDE를 최대 61% 감소시킨다.

ABSTRACT

Pedestrian trajectory prediction is essential for collision avoidance in autonomous driving and robot navigation. However, predicting a pedestrian's trajectory in crowded environments is non-trivial as it is influenced by other pedestrians' motion and static structures that are present in the scene. Such human-human and human-space interactions lead to non-linearities in the trajectories. In this paper, we present a new spatio-temporal graph based Long Short-Term Memory (LSTM) network for predicting pedestrian trajectory in crowded environments, which takes into account the interaction with static (physical objects) and dynamic (other pedestrians) elements in the scene. Our results are based on two widely-used datasets to demonstrate that the proposed method outperforms the state-of-the-art approaches in human trajectory prediction. In particular, our method leads to a reduction in Average Displacement Error (ADE) and Final Displacement Error (FDE) of up to 55% and 61% respectively over state-of-the-art approaches.

연구 동기 및 목표

• 붐비는 실외 환경에서 보행자(동적)와 장애물(정적) 상호작용을 모두 모델링하여 보행자 궤적 예측을 향상시키기 위해.
• 이전 모델들이 정적 장애물을 간과하거나 전역 어텐션을 무분별하게 적용하는 한계를 해결하기 위해.
• 맥락적으로 관련성이 있을 때에만 정적 장애물을 동적으로 통합함으로써 더 안정적이고 정확한 예측 모델을 개발하기 위해.
• 그래프 기반 어텐션 메커니즘을 통해 보행자 간 전역 상호작용과 장애물과의 국소 상호작용을 명시적으로 모델링함으로써 궤적 예측을 향상시키기 위해.

제안 방법

• 보행자와 정적 장애물을 노드로 표현하는 시공간 그래프를 제안하며, 간선은 공간-시간적 관계를 나타낸다.
• 정적 장애물이 보행자 운동에 영향을 줄 만한 거리 이내에 있을 경우에만 포함하는 동적 그래프 구축 전략을 도입한다.
• 보행자와 장애물의 공간적 및 시간적 특징을 기반으로 어텐션 가중치를 계산하기 위해 그래프 상에서 다중 헤드 어텐션 메커니즘을 활용한다.
• 참고 문헌 [12]의 영향을 받은 단순화된 다중 헤드 어텐션 메커니즘을 사용하여 시간에 걸쳐 이웃 에이전트와 장애물의 영향을 집계한다.
• 미래 궤적 단계에 대한 음의 로그우도 손실을 사용하여 모델을 훈련시켜 예측 오차를 최소화한다.
• 다양하고 현실적인 미래 궤적을 불확실성 모델링과 함께 생성하기 위해 변분 추론 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 정적 장애물을 동적으로 통합하는 시공간 그래프 기반 모델이 붐비는 장면에서 궤적 예측 정확도를 향상시킬 수 있는가?
• RQ2 전체 보행자 상호작용과 국소 장애물 상호작용을 모두 모델링하는 것이, 한 가지만 고려하는 모델에 비해 예측 성능에 어떤 영향을 미치는가?
• RQ3 근처의 보행자와 장애물의 영향을 가중치로 고려하는 그래프 기반 어텐션 메커니즘이 궤적 예측의 이격 오차를 얼마나 줄이는가?
• RQ4 제안된 방법은 다양한 도시 환경에서 인파의 밀도와 장애물 존재 여부가 다양할 경우에도 일반화 가능한가?

주요 결과

• H-H-O 모델은 기준 데이터셋 평균적으로 최신 기술 대비 평균 이격 오차(ADE)를 55% 감소시키고, 최종 이격 오차(FDE)를 61% 감소시켰다.
• 호텔 데이터셋에서는 Social GAN-20V 대비 FDE를 93% 감소시켜 램프 기둥과 나무 등 정적 장애물이 많은 장면에서 뛰어난 성능을 보였다.
• ETH 데이터셋에서는 Social-LSTM 대비 FDE를 89% 감소시켜 고밀도 보행자 상호작용에서의 충돌 회피 능력 향상을 입증했다.
• H-H-O 모델이 달성한 최소 FDE는 호텔 세트에서 0.11m로, Social-LSTM의 최소 FDE 0.80m 및 SGAN-20V의 0.84m보다 훨씬 낮았다.
• 정성적 결과에서는 H-H-O 모델이 벤치와 상점 입구 주변에서의 방향 전환 행동을 정확히 예측하는 반면, 기준 모델들은 물리적 장애물을 간과하는 것으로 나타났다.
• 환경 제약 조건을 더 잘 모델링함으로써, 특히 최종 예측 단계에서 실제 궤적과 더 일치하는 예측 결과를 도출했다.