[논문 리뷰] Understanding Human Behaviors in Crowds by Imitating the Decision-Making Process

Haosheng Zou, Hang Su외 2명|arXiv (Cornell University)|2018. 01. 25.

Anomaly Detection Techniques and Applications참고 문헌 28인용 수 5

한 줄 요약

이 논문은 전문가의 경로를 악성 복제하는 방식으로 군중 내 보행자 의사결정을 모델링하기 위해 잠재 의도와 사회적 요인을 분리하는 사교적 인식 생성적 적대적 복제 학습(SA-GAIL) 프레임워크를 제안한다. 충돌 회피 정규화와 사교적 인식 LSTMs를 통합함으로써 미래 경로 예측 성능을 향상시키고, 해석 가능한 의도 추론을 가능하게 하여 ADE 및 FDE 지표에서 베이스라인을 능가한다. 또한 학습된 잠재 코드를 통해 구분 가능한 행동 모드를 시각화한다.

ABSTRACT

Crowd behavior understanding is crucial yet challenging across a wide range of applications, since crowd behavior is inherently determined by a sequential decision-making process based on various factors, such as the pedestrians' own destinations, interaction with nearby pedestrians and anticipation of upcoming events. In this paper, we propose a novel framework of Social-Aware Generative Adversarial Imitation Learning (SA-GAIL) to mimic the underlying decision-making process of pedestrians in crowds. Specifically, we infer the latent factors of human decision-making process in an unsupervised manner by extending the Generative Adversarial Imitation Learning framework to anticipate future paths of pedestrians. Different factors of human decision making are disentangled with mutual information maximization, with the process modeled by collision avoidance regularization and Social-Aware LSTMs. Experimental results demonstrate the potential of our framework in disentangling the latent decision-making factors of pedestrians and stronger abilities in predicting future trajectories.

연구 동기 및 목표

• 시각적 외형 통계에 의존하지 않고, 인간의 행동을 시퀀셜 의사결정 과정의 근본 원리를 모델링하여 군중 내 인간 행동을 이해하는 것.
• 비지도 표현 학습을 통해 개인적 의도 및 사회적 상호작용과 같은 잠재 의사결정 요인을 분리하는 것.
• 생성적 적대적 프레임워크 내에서 충돌 회피 및 사교적 인식 모델링을 통합하여 미래 경로 예측 성능을 향상시키는 것.
• 다양하고 맥락에 적합한 미래 경로를 생성하는 분리된 잠재 코드를 통해 해석 가능한 의도 추론을 가능하게 하는 것.
• 복잡하고 동적인 군중 환경에서 복제 학습과 인지 수준의 행동 모델링 간 격차를 메우는 것.

제안 방법

• 관측된 경로에서의 전문가 시뮬레이션을 기반으로 보행자 행동을 순차적 의사결정 과정으로 모델링하기 위해 생성적 적대적 복제 학습(GAIL)을 확장한다.
• 스패티오토포로지적 맥락을 인코딩하기 위해 사교적 인식 LSTMs를 사용하는 순환 인코더-디코더 생성기 구조를 도입한다.
• 생성 과정에서 물리적으로 타당한 경로를 강제하기 위해 충돌 회피 정규화 모듈을 도입한다.
• 서로 다른 요소들—의도 및 사회적 영향—과 같은 의사결정 잠재 요인을 별개의 구성 요소로 분리하기 위해 상호정보량 최대화를 사용한다.
• 잠재 요인에 대한 명시적 지도 학습 없이도 전문가 수준의 행동을 생성하기 위해 생성기(정책)와 판별기 사이의 적대적 훈련을 활용한다.
• 관측된 경로에서 잠재 의도 코드를 추론하기 위해 사후 추론 네트워크를 적용함으로써 다양한 미래 경로의 조건부 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성적 적대적 복제 학습 프레임워크가 군중 내 보행자의 순차적 의사결정 과정을 효과적으로 모델링할 수 있는가?
• RQ2 개인적 의도 및 사회적 상호작용과 같은 잠재 의사결정 요인을 비지도 방식으로 어떻게 분리할 수 있는가?
• RQ3 충돌 회피 및 사교적 인식 모델링을 통합함으로써 경로 예측 정확도는 어느 정도 향상되는가?
• RQ4 학습된 잠재 코드가 서로 다른 의도를 반영하는 다양한 행동적으로 일관된 미래 경로를 생성할 수 있는가?
• RQ5 복잡한 군중 역학 환경에서 제안된 프레임워크는 감독 기반 베이스라인과 비교해 보행자 운동 예측 성능에서 어떤가?

주요 결과

• 전체 SA-GAIL 모델은 라이브러리 기반의 기존 모델들인 순수 LSTM 및 Behavior CNN을 포함한 모든 베이스라인 대비 더 낮은 평균 이동 오차(ADE)와 최종 이동 오차(FDE)를 기록하여 최고의 예측 성능을 달성한다.
• 제거 실험 결과, SA-LSTM, 충돌 회피, GAIL 훈련 등 각 구성 요소가 예측 성능 향상에 기여하며, 전체 시스템이 개별 모듈보다 뛰어난 성능을 보임을 확인한다.
• 잠재 의도의 분리가 성공적으로 이루어졌음을 입증하기 위해, 서로 다른 잠재 코드 설정에서 생성된 경로 패턴이 뚜렷하게 구분되었으며, 한 코드는 일관되게 출구 향하는 경로를 생성했다.
• 시각화 결과는 모델이 환경 맥락(예: 출구 향해 이동하거나 장애물 피하기)에 부합하는 행동적으로 타당하고 다양한 미래 경로를 생성함을 보여준다.
• 실패 사례 분석 결과, 급작스러운 방향 전환이나 시나리오 레이아웃을 잘못 해석하는 경우가 있으며, 특히 훈련 데이터에 이러한 단서가 없을 경우 문제가 발생함을 확인했다.
• RNN 기반 GAN의 훈련 어려움에도 불구하고, 적대적 프레임워크는 감독 기반 베이스라인 대비 정책 학습 성능을 향상시켰으며, 이는 복잡한 의사결정 과정을 모델링하는 데 있어 그 가치를 증명한다.