[論文レビュー] Re-identification of Humans in Crowds using Personal, Social and Environmental Constraints

Shayan Modiri Assari, Haroon Idrees+1 more|arXiv (Cornell University)|Dec 7, 2016

Video Surveillance and Tracking Methods参考文献 39被引用数 4

ひとこと要約

本論文は、人物の外見、好ましい速度、グループ形成、衝突回避、ゲート遷移確率といった、外見、社会的行動、環境的要因（PSE）制約を統合したエネルギー最小化モデルに、混雑した非重複カメラネットワークにおける新しい人物再識別フレームワークを提案する。確率的局所探索とフランク＝ウォルフに基づく凸緩和を用いることで、外見のみに依存するベースラインに比べて顕著な性能向上を達成し、Grand Central、PRID、DukeMTMCデータセットにおいて、社会的および空間的グループ化制約により、Rank-1が3%、Rank-5が8%向上した。

ABSTRACT

This paper addresses the problem of human re-identification across non-overlapping cameras in crowds.Re-identification in crowded scenes is a challenging problem due to large number of people and frequent occlusions, coupled with changes in their appearance due to different properties and exposure of cameras. To solve this problem, we model multiple Personal, Social and Environmental (PSE) constraints on human motion across cameras. The personal constraints include appearance and preferred speed of each individual assumed to be similar across the non-overlapping cameras. The social influences (constraints) are quadratic in nature, i.e. occur between pairs of individuals, and modeled through grouping and collision avoidance. Finally, the environmental constraints capture the transition probabilities between gates (entrances / exits) in different cameras, defined as multi-modal distributions of transition time and destination between all pairs of gates. We incorporate these constraints into an energy minimization framework for solving human re-identification. Assigning $1-1$ correspondence while modeling PSE constraints is NP-hard. We present a stochastic local search algorithm to restrict the search space of hypotheses, and obtain $1-1$ solution in the presence of linear and quadratic PSE constraints. Moreover, we present an alternate optimization using Frank-Wolfe algorithm that solves the convex approximation of the objective function with linear relaxation on binary variables, and yields an order of magnitude speed up over stochastic local search with minor drop in performance. We evaluate our approach using Cumulative Matching Curves as well $1-1$ assignment on several thousand frames of Grand Central, PRID and DukeMTMC datasets, and obtain significantly better results compared to existing re-identification methods.

研究の動機と目的

• 視認性の低い状況や遮蔽が生じる混雑したシーンにおいて、外見の特徴のみでは不十分となる非重複カメラ間の人物再識別課題に取り組むこと。
• カメラのトポロジーおよび照明変動に強く、高次元の空間的・時間的関係を個人的・社会的・環境的制約によってモデル化すること。
• 線形および二次的PSE制約を計算的に実行可能なかたちで処理可能な効率的な最適化フレームワークを開発すること。
• 動的運動パターンと社会的行動を統合することで、大規模監視環境における1対1マッチング性能を向上させること。

提案手法

• 本手法は、外見埋め込みと速度の事前知識を用いて、カメラ間で一貫した外見と好ましい速度を有する個人的制約をモデル化する。
• 空間的グループ形成（一緒に歩行する人々）と衝突回避（経路の競合）を、ペアワイズ関係として二次コスト関数として統合する社会的制約を導入する。
• 環境的制約は、カメラゲート間の多モーダル遷移確率として学習され、予想される入出力時間と目的地を捉える。
• エネルギー最小化フレームワークにより、すべてのPSE制約を統一された目的関数に統合して再識別を実現する。
• 2つの最適化戦略を採用する：正確な1対1割り当てのための確率的局所探索と、凸緩下のためのフランク＝ウォルフアルゴリズム。これにより10倍の高速化が達成され、性能低下はわずかである。
• 本フレームワークは、Cumulative Matching Curvesおよび1対1割り当て指標を用いて、Grand Central、PRID、DukeMTMCデータセット上で訓練および評価された。

実験結果

リサーチクエスチョン

• RQ1 外見類似性を超えて、個人的・社会的・環境的制約が混雑したシーンにおける再識別性能をどのように向上させるか？
• RQ2 非重複カメラ環境下で、社会的グループ形成と衝突回避制約は、マッチング精度をどの程度向上させるか？
• RQ3 フランク＝ウォルフアルゴリズムによる凸緩下は、著しく短縮された計算時間で近似的最適性能を達成できるか？
• RQ4 カメラゲート間の遷移時間と目的地確率は、大規模監視ネットワークにおける正確な再識別にどのように寄与するか？

主な発見

• 社会的および空間的グループ化制約を統合したPSE制約の統合により、Rank-1が3%、Rank-5が8%向上した。
• フランク＝ウォルフアルゴリズムは、確率的局所探索に比べて10倍の高速化を達成しながら、ほぼ最適な性能を維持した。
• すべてのPSE制約を統合した最良の設定は、AUC 96.27%を達成し、外見のみのベースラインを著しく上回った。
• 衝突回避制約は、経路の変動が限られ、歩行者密度が非常に高い状況ではわずかに性能を低下させる傾向を示した。
• 社会的グループ形成制約は、多くの人物が単独で移動するGrand Centralのようなデータセットでさえも、顕著な効果を示し、強力な識別性能を示した。
• 本手法は、実世界の監視条件下で、Grand Central（著しい視認性の曇り）、PRID、DukeMTMCの各データセットにおいて、良好な一般化性能を示し、高い耐障害性を示した。