[논문 리뷰] Social Attention: Modeling Attention in Human Crowds

Anirudh Vemula, Katharina Muelling외 1명|arXiv (Cornell University)|2017. 10. 12.

Anomaly Detection Techniques and Applications인용 수 8

한 줄 요약

이 논문은 사람들의 상호작용을 비국소적이고 맥락 인식 가능한 방식으로 포착하기 위해 군중 내 모든 보행자에 대해 소프트 어텐션 메커니즘을 사용하는 새로운 궤적 예측 모델인 Social Attention을 제안한다. 이는 거리 기반 가정을 초월하는 동적인 장거리 의존성을 모델링하여 두 개의 실세계 데이터셋에서 최신 기술 대비 예측 정확도를 향상시킨다.

ABSTRACT

Robots that navigate through human crowds need to be able to plan safe, efficient, and human predictable trajectories. This is a particularly challenging problem as it requires the robot to predict future human trajectories within a crowd where everyone implicitly cooperates with each other to avoid collisions. Previous approaches to human trajectory prediction have modeled the interactions between humans as a function of proximity. However, that is not necessarily true as some people in our immediate vicinity moving in the same direction might not be as important as other people that are further away, but that might collide with us in the future. In this work, we propose Social Attention, a novel trajectory prediction model that captures the relative importance of each person when navigating in the crowd, irrespective of their proximity. We demonstrate the performance of our method against a state-of-the-art approach on two publicly available crowd datasets and analyze the trained attention model to gain a better understanding of which surrounding agents humans attend to, when navigating in a crowd.

연구 동기 및 목표

• 보행자 간의 장거리 비국소적 상호작용을 포착하지 못하는 거리 기반 모델의 한계를 해결한다.
• 거리에 관계없이 모든 보행자의 상대적 영향력을 모델링하여 궤적 예측 정확도를 향상시킨다.
• 공간적 및 시간적 역학을 모두 포착하는 완전히 미분 가능한 공동 학습 RNN 혼합 모델을 개발한다.
• 실제 군중에서 관찰되는 현실적인 주의 패턴을 반영하는 인간 궤적을 예측하여 사회적으로 타당한 로봇 주행을 가능하게 한다.
• 학습된 어텐션 메커니즘을 분석하여 인간이 주행 중에 어떤 에이전트에 주목하는지 이해하고 군중 역학의 해석 가능성을 제공한다.

제안 방법

• 모든 에이전트의 시간적 및 공간적 역학을 모델링하기 위해 피드포워드 방식이며 완전히 미분 가능하고 공동 학습되는 순환 신경망(RNN) 혼합 모델을 제안한다.
• 각 에이전트가 다른 모든 에이전트와 상호작용할 수 있도록 소프트 어텐션 메커니즘을 구현하여 비국소적 상호작용이 예측에 영향을 미치도록 한다.
• 상대 운동 특징(속도, 향방, 충돌까지의 시간 등)을 기반으로 한 점수 함수(식 4)를 사용하여 거리 외의 요소로 어텐션 가중치를 계산한다.
• 모든 에이전트의 미래 궤적에 대한 공동 손실을 사용하여 엔드 투 엔드로 학습함으로써 군중 전반에서 공유된 표현 학습을 가능하게 한다.
• 모든 에이전트를 전역적으로 모델링함에도 불구하고 GPU에서 병렬 추론을 통해 실시간 성능(10Hz)을 유지한다.
• 개별 에이전트의 궤적을 모델링하면서 전체 군중을 주시하는 RNN 혼합 모델을 사용하여 동적인 맥락 민감도 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비국소적 어텐션 메커니즘이 거리 기반 모델 대비 붐비는 환경에서 궤적 예측 정확도를 향상시킬 수 있는가?
• RQ2 사람들은 주행 중에 암묵적으로 어떤 주변 에이전트에 주목하는가? 이러한 패턴은 데이터로부터 학습될 수 있는가?
• RQ3 Social Attention의 어텐션 메커니즘은 동적인 군중 상황에서 실제 인간의 주의 행동을 얼마나 잘 반영하는가?
• RQ4 국소적 주변부를 초월하는 전역 상호작용을 모델링할 경우 실세계 데이터셋에서 예측 성능 향상에 어느 정도 기여하는가?
• RQ5 어텐션 메커니즘의 실패 유형은 무엇이며, 이는 먼 곳에 있거나 정지해 있는 에이전트의 상대적 영향을 잘못 판단하는 데서 기인하는가?

주요 결과

• Social Attention는 두 개의 공개된 군중 데이터셋에서 최신 기술인 Social LSTM보다 우수한 성능을 보이며, 평균 이격 오차(ADE)와 최종 이격 오차(FDE)가 모두 낮아졌다.
• ETH 및 UCY 데이터셋에서 모델은 Social LSTM 대비 FDE에서 10-15%의 상대적 향상을 달성하여 더 뛰어난 일반화 능력과 정확도를 입증했다.
• 어떤 에이전트가 움직이는지에 따라 그 영향력이 더 크다는 점을 어텐션 메커니즘이 성공적으로 식별하여 실제 인간 주행 행동과 일치시켰다.
• 충돌 가능성이 낮은 거리에 있는 유사하게 움직이는 에이전트에 대해서는 동일한 어텐션을 할당하여 향후 충돌 위험을 합리적으로 평가하는 것을 반영했다.
• 실패 케이스 분석 결과, 모델이 종종 영향력이 없는 에이전트(예: 먼 곳에 있거나 정지해 있는 보행자)에 높은 어텐션을 할당하는 경향이 있어 미세한 운동 신호를 포착하지 못하는 한계를 드러냈다.
• 정성적 분석을 통해 어텐션 메커니즘이 충돌 가능성이 높은 에이전트(예: 만남 또는 빠르게 움직이는 사람)를 거리가 멀어도 우선순위로 삼는 것을 학습한 것으로 확인되었다.