[論文レビュー] Person Re-identification in Appearance Impaired Scenarios

Mengran Gou, Xikang Zhang+4 more|arXiv (Cornell University)|Apr 1, 2016

Video Surveillance and Tracking Methods参考文献 34被引用数 8

ひとこと要約

本論文では、外見が類似している場合や服装を変更した場合など、外見特徴が劣化した状況下での人物再識別を向上させるために、Fisherベクトル符号化された密集した短い軌道を用いて歩行や運動パターンを捉える動的特徴（DynFV）を提案する。この手法は、特に困難な状況下でも顕著な再識別精度の向上を実現し、iLIDSVIDではRank-1性能が74%向上し、PRIDでは43%向上する。

ABSTRACT

Person re-identification is critical in surveillance applications. Current approaches rely on appearance based features extracted from a single or multiple shots of the target and candidate matches. These approaches are at a disadvantage when trying to distinguish between candidates dressed in similar colors or when targets change their clothing. In this paper we propose a dynamics-based feature to overcome this limitation. The main idea is to capture soft biometrics from gait and motion patterns by gathering dense short trajectories (tracklets) which are Fisher vector encoded. To illustrate the merits of the proposed features we introduce three new "appearance-impaired" datasets. Our experiments on the original and the appearance impaired datasets demonstrate the benefits of incorporating dynamics-based information with appearance-based information to re-identification algorithms.

研究の動機と目的

• 被験者が類似した服装をしている、または服装を変更した場合に外見ベースの再識別手法に見られる限界を解消すること。
• 動画シーケンスからの時間的および運動的ヒントを活用して、外見が劣化した状況下でも再識別性能を強化すること。
• 実際の監視環境を想定した条件下で再識別性能を評価するための、3つの新しい「外見劣化」データセットを提供すること。
• DynFVのような動的特徴が外見ベース特徴と補完的であることを示し、全体の再識別精度を向上させること。

提案手法

• 光流に基づいて動画シーケンスから密集した短い軌道（トラックレット）を抽出し、運動パターンを捉える。
• これらの密集した軌道の時間的ピラミッドにFisherベクトル符号化を適用し、コンactかつ判別力のある動的特徴表現（DynFV）を生成する。
• LDFV（ローカル差分特徴ベクトル）などの既存の外見ベース特徴とDynFVを統合して特徴統合を実施する。
• 教師なし性能を評価するために、任意の教師付き学習を用いない単純な最近傍分類器を用いる。
• 3つの新しい外見劣化データセット（PRID-BK：黒色の服のみ、TSD：服装変更ありの駅映像、iLIDSVID-BK：黒色の服サブセット）を設計・収集する。
• 複数のピラミッドレベル（a ∈ {5, 9, 14}）を用いて、軌道符号化の最適化を目的としたスライディングウィンドウサイズの影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 密集した軌道から導出される動的特徴が、外見特徴が失敗する外見劣化状況下での人物再識別を改善できるか？
• RQ2 提案されたDynFV特徴は、最先端の外見ベース特徴と比較して、再識別精度で優れているか？
• RQ3 DynFVを外見ベース特徴（例：LDFV）と統合することで、標準的および外見劣化状況下のデータセット全体で性能がどの程度向上するか？
• RQ4 軌道抽出に用いるスライディングウィンドウサイズは、DynFV特徴の性能にどの程度感度を示すか？
• RQ5 衣服の変更や類似した服装が行われる状況下で、DynFVの相対的性能向上はどの程度か？

主な発見

• iLIDSVIDデータセットにおいて、DynFVとLDFVを組み合わせた場合、LDFV単体を使用した場合に比べてRank-1性能が74%相対的に向上した。
• PRIDデータセットにおいて、DynFV+LDFVの組み合わせは、LDFV単体の場合に比べてRank-1精度が43%相対的に向上した。
• 外見劣化状況下では、PRID-BKデータセットにおいてLDFV単体と比較して、DynFV+LDFV統合によりRank-1性能が24.14%向上した。TSDデータセットでは16.19%向上した。
• すべての3つのピラミッドレベル（a ∈ {5, 9, 14}）を用いてDynFVを生成した場合、元の軌道（a = 14）のみを使用した場合に比べて、PRID-BKデータセットでRank-1精度が32.71%相対的に向上した。
• PRIDデータセットでは、DynFV+LDFVの組み合わせが、AFDA や ColorLBP+DVR といった最先端手法を含むすべての評価手法の中で最高のRank-1性能（43.6%）を達成した。
• TSDデータセットでは、DynFV+LDFV統合により、LDFV単体と比較してRank-1性能が38.92%相対的に向上し、衣服変更状況下でも顕著な有効性を示した。