[論文レビュー] Modeling and Inferring Human Intents and Latent Functional Objects for Trajectory Prediction

Dan Xie, Tianmin Shu+2 more|arXiv (Cornell University)|Jun 24, 2016

Anomaly Detection Techniques and Applications参考文献 32被引用数 9

ひとこと要約

本論文は、監視映像における見えない機能的吸引子である潜在的「ダークマター」機能的物体によって影響を受ける人間の軌道をモデル化する、物理学にインspiredされたフレームワークを提案する。マルチレイヤーの力場を用いたエージェントベースのラグランジュ力学による意図推定と軌道予測を定式化することで、単一、順次的、または変更された意図のタイプを高精度に予測し、人間の運動パターンのクラスタリングにより機能的物体クラスを同定する。従来手法に比べ、意図認識および軌道予測の両面で優れた性能を達成する。

ABSTRACT

This paper is about detecting functional objects and inferring human intentions in surveillance videos of public spaces. People in the videos are expected to intentionally take shortest paths toward functional objects subject to obstacles, where people can satisfy certain needs (e.g., a vending machine can quench thirst), by following one of three possible intent behaviors: reach a single functional object and stop, or sequentially visit several functional objects, or initially start moving toward one goal but then change the intent to move toward another. Since detecting functional objects in low-resolution surveillance videos is typically unreliable, we call them "dark matter" characterized by the functionality to attract people. We formulate the Agent-based Lagrangian Mechanics wherein human trajectories are probabilistically modeled as motions of agents in many layers of "dark-energy" fields, where each agent can select a particular force field to affect its motions, and thus define the minimum-energy Dijkstra path toward the corresponding source "dark matter". For evaluation, we compiled and annotated a new dataset. The results demonstrate our effectiveness in predicting human intent behaviors and trajectories, and localizing functional objects, as well as discovering distinct functional classes of objects by clustering human motion behavior in the vicinity of functional objects.

研究の動機と目的

• 部分的な観測からの公共空間における人間の軌道予測を、潜在的意図と機能的物体の位置を推定することで行う。
• 外見に基づく認識が失敗する低解像度の監視映像において、機能的物体を検出する課題に対処する。
• 物体の外見ではなく、周囲の人の運動行動を分析することによって、異なる機能的クラスの物体を同定する。
• 人間の運動を、潜在的機能的物体によって生成される多層の「ダークエネルギー」場における最小エネルギー経路としてモデル化する。
• 低解像度および遮蔽のある映像データであっても、高い精度でオンラインでの意図予測とオフラインでの意図タイプ推定を可能にする。

提案手法

• 機能的物体が吸引力および反発力場を生成する、ラグランジュ力学フレームワークにおけるエージェントダイナミクスとして人間の運動を定式化する。
• 人間の軌道を、潜在的機能的物体から発する「ダークエネルギー」場の中の最小エネルギー経路（Dijkstra経路）としてモデル化し、これらを見えない「ダークマター」として扱う。
• 階層的推論機構を用いて、人間の意図行動（単一、順次的、または変更された意図）とシーンの機能的マップを同時に推定する。
• 各推定された機能的物体の周囲に、密度、能動性、エントロピーの3つの運動ベース特徴マップを用いて、人の行動パターンを捉える。
• 特徴ベクトルをヒストグラムに変換し、K-meansクラスタリングを適用することで、物体の意味的特徴に依存せずに、機能的物体を潜在的機能的クラスにグループ化する。
• オンライン/オフライン推論パイプラインを統合的に導入：オンラインでリアルタイムの意図予測を実行し、オフラインで全軌道の意図タイプ認識を実現する。

実験結果

リサーチクエスチョン

• RQ1 低解像度の監視映像において、潜在的意図と機能的物体を同時にモデル化することで、人間の軌道予測を改善できるか？
• RQ2 低解像度および遮蔽のため外見が信頼できない状況で、機能的物体をどのように推定できるか？
• RQ3 物体の外見ではなく、人の運動行動パターンのクラスタリングによって、異なる機能的クラスの物体を同定できるか？
• RQ4 物理学にインスパイアされたラグランジュフレームワークが、オープンな公共空間における人の意図と軌道ダイナミクスをどの程度正確にモデル化できるか？
• RQ5 本手法は、運動ベースのベースラインに比べ、意図タイプと全軌道の予測においてどの程度優れているか？

主な発見

• 本手法は、オフラインの順次的意図認識で0.93 mAP、意図変更認識で0.80 mAPを達成し、ベースライン（それぞれ0.66および0.43 mAP）を顕著に上回った。
• オンラインでの意図予測精度は、部分的軌道観測に対しても一貫してベースライン手法を上回り、高い耐障害性を示した。
• 本手法は、人の運動行動に基づく唯一の根拠で、3つの意味的意味のある潜在的クラスに機能的物体をクラスタリングに成功した：列に並ぶエリア（マゼンタ）、休息エリア（レッド）、出口／建物（ブルー）。
• 物体の外見や幾何的特徴に依存せず、推定されたダークマター位置周辺のエージェント密度、速度、方向エントロピーのマップにのみ依存して、機能的物体を同定した。
• 従来の検出手法が失敗する低解像度映像でも、人の運動パターンからその存在を推定することで、機能的物体の局所化を効果的に実現した。
• 意図の変化を動的にモデル化することで、人の行動のリアルタイムな変化を反映した、正確な全軌道予測を可能にした。