[논문 리뷰] Forecasting Social Navigation in Crowded Complex Scenes

Alexandre Robicquet, Alexandre Alahi외 5명|arXiv (Cornell University)|2016. 01. 05.

Evacuation and Crowd Dynamics참고 문헌 39인용 수 29

한 줄 요약

이 논문은 대학 캠퍼스와 같은 붐비는 실외 환경에서 다중 클래스의 에이전트(보행자, 자전거, 스쿠터, 차량 등)가 이동하는 첫 번째 대규모 상향 시점 데이터셋을 소개하고, 상호 클래스 간 상호작용을 고려하며 '사회적 민감도'(social sensitivity)라는 잠재 변수를 학습하는 새로운 궤적 예측 모델을 제안한다. 이 변수는 에이전트가 사회적 힘에 얼마나 민감하게 반응하는지를 캡처한다. 이 방법은 복잡한 실제 환경에서 다양한 주행 스타일과 상호작용 역학을 모델링함으로써 베이스라인을 능가한다.

ABSTRACT

When humans navigate a crowed space such as a university campus or the sidewalks of a busy street, they follow common sense rules based on social etiquette. In this paper, we argue that in order to enable the design of new algorithms that can take fully advantage of these rules to better solve tasks such as target tracking or trajectory forecasting, we need to have access to better data in the first place. To that end, we contribute the very first large scale dataset (to the best of our knowledge) that collects images and videos of various types of targets (not just pedestrians, but also bikers, skateboarders, cars, buses, golf carts) that navigate in a real-world outdoor environment such as a university campus. We present an extensive evaluation where different methods for trajectory forecasting are evaluated and compared. Moreover, we present a new algorithm for trajectory prediction that exploits the complexity of our new dataset and allows to: i) incorporate inter-class interactions into trajectory prediction models (e.g, pedestrian vs bike) as opposed to just intra-class interactions (e.g., pedestrian vs pedestrian); ii) model the degree to which the social forces are regulating an interaction. We call the latter "social sensitivity"and it captures the sensitivity to which a target is responding to a certain interaction. An extensive experimental evaluation demonstrates the effectiveness of our novel approach.

연구 동기 및 목표

• 복잡하고 붐비는 실외 환경에서 다양한 에이전트 유형(보행자, 자전거, 차량 등)을 촬영한 대규모 실생활 데이터셋이 부족한 문제를 해결하기 위해.
• 내부 클래스 간 상호작용뿐 아니라 상호 클래스 간 상호작용(예: 보행자 대 자전거)을 모델링함으로써 더 견고하고 일반화 능력이 뛰어난 궤적 예측을 가능하게 하기 위해.
• 에이전트가 사회적 힘에 얼마나 민감하게 반응하는지를 캡처하는 데이터 기반 '사회적 민감도'라는 변수를 학습시켜 궤적 예측 성능을 향상시키기 위해.
• 실제 동적인 장면에서 다중 타겟 추적, 활동 이해, 궤적 예측 평가를 위한 확장 가능한 벤치마크를 제공하기 위해.

제안 방법

• 20,000개의 타겟이 포함된 다중 클래스를 포함한 100개의 실제 캠퍼스 환경에서 다운드롭된 큐브코pter를 이용해 새로운 대규모 상향 시점 영상 데이터셋을 수집한다.
• 다른 에이전트 유형 간의 상호작용(예: 보행자-자전거, 차량-스케이트보드)을 모델링하는 다중 클래스 사회력(SF-mc) 프레임워크를 제안한다.
• 다른 이들에게서 오는 사회적 힘에 대해 얼마나 강하게 반응하는지를 수량화하는 학습 가능한 잠재 변수로 '사회적 민감도'를 도입한다.
• 에이전트를 사회적 민감도와 상호작용 패턴에 기반해 구체적인 주행 스타일(예: 공격적, 보수적)로 군집화하는 기반 기반 접근법을 사용한다.
• 궤적 예측과 사회적 민감도 추정을 동시에 최적화하는 미분 가능한 손실 함수를 활용한다.
• 제안된 다중 클래스 데이터셋과 표준 보행자 전용 벤치마크에서 모델을 평가하여 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 실제 붐비는 환경에서 다양한 에이전트 유형(예: 보행자, 자전거, 차량 등) 간에 효과적으로 일반화할 수 있는 궤적 예측 모델은 가능한가?
• RQ2 내부 클래스 간 상호작용뿐 아니라 상호 클래스 간 상호작용(예: 보행자-자전거)을 모델링할 경우, 내부 클래스 간 상호작용만 고려하는 모델에 비해 정확도가 어떻게 향상되는가?
• RQ3 학습 가능한 '사회적 민감도' 변수가 다양한 주행 행동(예: 공격적 대비 보수적)을 포괄하고 예측 성능 향상에 기여할 수 있는가?
• RQ4 제안된 방법은 대규모 실생활 데이터셋에서 기존의 사회력 기반 및 가우시안 프로세스 기반 모델보다 우수한 성능을 보일 수 있는가?

주요 결과

• 학습 가능한 사회적 민감도를 갖춘 제안된 SF-mc 모델은 새로운 다중 클래스 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 동일한 에이전트 클래스를 가정하는 베이스라인을 능가하였다.
• 모델은 학습된 사회적 민감도에 기반해 공격적 또는 보수적인 행동과 같은 다양한 주행 스타일을 성공적으로 식별하고 적응하여, 복잡한 상호작용 상황에서 예측 정확도를 향상시켰다.
• 상호작용이 없는 장면에서는 모든 방법이 유사하게 성능을 보였으며, 이는 제안된 방법의 우수성이 붐비고 상호작용이 많은 환경에서만 나타남을 확인한다.
• 단일 클래스 벤치마크(예: 보행자 전용)에 대해서도 모델이 잘 일반화되어, 각 에이전트에 적절한 주행 스타일(공격적 또는 온건한)을 정확히 선택함을 궤적 비교를 통해 검증하였다.
• 시각화 결과는 상호작용이 발생할 경우 서로 다른 사회적 민감도 군집에서 예측 궤적이 의미 있게 분리됨을 보여주며, 모델이 미세한 행동 역학을 포착하는 능력을 입증한다.
• 이 데이터셋은 UAV 데이터에서 기능 맵 추론, 미세한 타겟 추적, 장면 기반 운동 모델링 등의 새로운 연구 방향을 가능하게 한다.