[논문 리뷰] Modeling and Inferring Human Intents and Latent Functional Objects for Trajectory Prediction

Dan Xie, Tianmin Shu외 2명|arXiv (Cornell University)|2016. 06. 24.

Anomaly Detection Techniques and Applications참고 문헌 32인용 수 9

한 줄 요약

이 논문은 감시 영상에서 보이지 않는 기능적 매력점인 잠재적 '다크 매터' 기능 객체를 통해 인간의 궤적을 모델링하는 물리학에 영향을 받은 프레임워크를 제안한다. 다층적 힘장과 에이전트 기반 라그랑주 역학을 통해 의도 추론과 궤적 예측을 수식화함으로써, 단일, 순차적, 또는 변경된 의도와 같은 의도 유형을 높은 정확도로 예측하고, 인간의 운동 패턴을 군집화하여 기능 객체의 클래스를 발견하며, 기준선 대비 의도 인식과 궤적 예측에서 뛰어난 성능을 발휘한다.

ABSTRACT

This paper is about detecting functional objects and inferring human intentions in surveillance videos of public spaces. People in the videos are expected to intentionally take shortest paths toward functional objects subject to obstacles, where people can satisfy certain needs (e.g., a vending machine can quench thirst), by following one of three possible intent behaviors: reach a single functional object and stop, or sequentially visit several functional objects, or initially start moving toward one goal but then change the intent to move toward another. Since detecting functional objects in low-resolution surveillance videos is typically unreliable, we call them "dark matter" characterized by the functionality to attract people. We formulate the Agent-based Lagrangian Mechanics wherein human trajectories are probabilistically modeled as motions of agents in many layers of "dark-energy" fields, where each agent can select a particular force field to affect its motions, and thus define the minimum-energy Dijkstra path toward the corresponding source "dark matter". For evaluation, we compiled and annotated a new dataset. The results demonstrate our effectiveness in predicting human intent behaviors and trajectories, and localizing functional objects, as well as discovering distinct functional classes of objects by clustering human motion behavior in the vicinity of functional objects.

연구 동기 및 목표

• 부분 관찰에서 공공 공간의 인간 궤적을 예측하기 위해 잠재적 인간 의도와 기능 객체 위치를 추론하는 것.
• 외관 기반 인식이 실패하는 저해상도 감시 영상에서 기능 객체를 탐지하는 과제를 해결하는 것.
• 외관이 아닌 인간의 운동 행동 패턴을 분석하여 기능 객체의 고유한 클래스를 발견하는 것.
• 잠재적 기능 객체가 생성하는 다층적 '어둠의 에너지'장 내에서 최소 에너지 경로로 인간 운동을 모델링하는 것.
• 저해상도 및 가림이 있는 영상 데이터에도 불구하고 실시간 의도 예측과 오프라인 의도 유형 추론을 고정밀도로 수행하는 것.

제안 방법

• 기능 객체가 힘장(끌림과 밀림)을 생성하는 라그랑주 역학 프레임워크 내에서 인간 운동을 에이전트 역학으로 수식화한다.
• 잠재적 기능 객체로부터 발산하는 '어둠의 에너지'장 내에서 최소 에너지 경로(Dijkstra 경로)로 궤적을 모델링하며, 이를 보이지 않는 '다크 매터'로 간주한다.
• 인간의 의도 행동(단일, 순차적, 또는 변경된 의도)과 장면의 기능 맵을 동시에 추정하기 위해 계층적 추론 메커니즘을 사용한다.
• 각 추론된 기능 객체 주변에 밀도, 활동성, 엔트로피 세 가지 운동 기반 특징 지ap을 활용하여 인간 행동 패턴을 포착한다.
• 특징 벡터를 히스토GRAM으로 변환한 후 K-means 군집화를 적용하여, 객체의 의미 정보에 의존하지 않고도 기능 객체를 잠재적 기능 클래스로 군집화한다.
• 실시간 의도 예측을 위한 온라인 및 전체 궤적의 의도 유형 인식을 위한 오프라인을 통합한 공동 추론 파이프라인을 도입한다.

실험 결과

연구 질문

• RQ1 저해상도 감시 영상에서 잠재적 인간 의도와 기능 객체를 동시에 모델링함으로써 인간 궤적 예측 성능을 향상시킬 수 있는가?
• RQ2 저해상도 및 가림으로 인해 외관이 신뢰할 수 없을 때 기능 객체를 어떻게 추론할 수 있는가?
• RQ3 외관이 아닌 인간 운동 행동 패턴의 군집화를 통해 기능 객체의 고유한 클래스를 발견할 수 있는가?
• RQ4 물리학에 영향을 받은 라그랑주 프레임워크가 개방된 공공 공간에서 인간 의도 및 궤적 역학을 어느 정도 잘 모델링할 수 있는가?
• RQ5 제안된 방법은 운동 기반 기준선 대비 의도 유형과 전체 궤적 예측에서 어떤가?

주요 결과

• 제안된 방법은 오프라인 순차적 의도 인식에서 0.93 mAP, 의도 변경 인식에서 0.80 mAP를 달성하여 기준선(각각 0.66 및 0.43 mAP)을 크게 능가한다.
• 온라인 의도 예측 정확도는 부분 궤적 관찰에 대해 일관되게 기준선 방법을 초월하여 강건성을 입증한다.
• 인간의 운동 행동에 기반하여 기능 객체를 세 가지 의미 있는 잠재 클래스로 성공적으로 군집화하였다: 줄 서는 지역(보라색), 휴식 지역(빨간색), 출구/건물(파란색).
• 기능 객체는 외관이나 기하학적 특징을 사용하지 않고, 추론된 어둠의 물질 위치 주변의 에이전트 밀도, 속도, 방향 엔트로피 지ap에 의존하여 발견되었다.
• 전통적인 탐지 기술이 실패하는 저해상도 영상에서도 인간의 운동 패턴을 통해 기능 객체의 존재를 추론함으로써 효과적으로 기능 객체를 국소화하였다.
• 의도 변화를 동적으로 모델링함으로써 전체 궤적 예측을 정확하게 수행하였으며, 인간 행동의 실시간 변화를 반영하였다.