[論文レビュー] Appearance Descriptors for Person Re-identification: a Comprehensive Review

Riccardo Satta|arXiv (Cornell University)|Jul 22, 2013

Video Surveillance and Tracking Methods参考文献 99被引用数 57

ひとこと要約

本論文は、人物再識別における外見記述子について包括的なレビューを提供しており、部位ベースのボディモデルを用いて抽出される低レベルの局所的およびグローバル特徴に焦点を当て、衣服の外見を表現している。本論文は、ボディモデルと特徴タイプに基づいて既存手法を体系的に分類し、この困難な動画監視タスクにおける今後の研究のための構造的基盤を提供している。

ABSTRACT

In video-surveillance, person re-identification is the task of recognising whether an individual has already been observed over a network of cameras. Typically, this is achieved by exploiting the clothing appearance, as classical biometric traits like the face are impractical in real-world video surveillance scenarios. Clothing appearance is represented by means of low-level extit{local} and/or extit{global} features of the image, usually extracted according to some part-based body model to treat different body parts (e.g. torso and legs) independently. This paper provides a comprehensive review of current approaches to build appearance descriptors for person re-identification. The most relevant techniques are described in detail, and categorised according to the body models and features used. The aim of this work is to provide a structured body of knowledge and a starting point for researchers willing to conduct novel investigations on this challenging topic.

研究の動機と目的

• 動画監視における人物再識別用の外見記述子技術について、構造的かつ統合的な概要を提供すること。
• 使用されたボディモデルの種別と特徴表現の種別に基づいて、既存手法を分類すること。
• 人物再識別における新規アプローチを模索する研究者にとっての基盤的リファレンスとして機能すること。
• 非制約的環境における現在の記述子設計戦略の長所と短所を分析すること。
• 顔などの伝統的バイオメトリクスが不適切な状況下で、衣服外見が実用的でセッションベースのバイオメトリクス的手がかりとして果たす役割を強調すること。

提案手法

• 本論文は、標準的なパイプライン（人物検出、前面領域セグメンテーション、局所的またはグローバル画像特徴を用いた記述子構築）をレビューしている。
• 異なるボディパーツ（例：胴体、脚）を個別に扱う部位ベースのボディモデルを用いて記述子を構築し、非剛体なボディポーズに対応している。
• 特徴は局所的（例：顕著点まわりの色分布）またはグローバル的（例：画像全体の色分布）に分類される。
• 色ヒストグラム、テクスチャ記述子（例：LBP）、深層学習ベースの特徴などの特徴タイプを評価しているが、後者は詳細には分析していない。
• 複数の特徴セットを統合して再識別性能を向上させるための統合戦略についても論じている。
• 特にRGB-Dセンサ（例：Kinect）からのデータを用いた歩行や体形測定などの代替的ヒントについても調査しているが、これらは非制約的でマルチカメラ監視環境にはあまり適さないとされている。

実験結果

リサーチクエスチョン

• RQ1 異なるボディモデルは、人物再識別における外見記述子の設計と性能にどのように影響を与えるか？
• RQ2 非制約的監視環境下で、衣服外見を表現するにあたり、局所的特徴（局所的対グローバル）のうちどのタイプが最も効果的か？
• RQ3 複数の特徴セットを統合して再識別精度を向上させるにあたり、主な課題は何か？
• RQ4 歩行や体形測定などの代替バイオメトリクス的ヒントは、実用的な監視システムにおいて衣服外見と比べてどの程度優れているか？
• RQ5 RGB-Dセンサから抽出された体形測定値は、現実世界の未キャリブレーションでマルチカメラにまたがる再識別環境でどの程度活用可能か？

主な発見

• 衣服外見は、短時間の間は抽出が比較的容易で一意性があることから、大多数の人物再識別手法で支配的なヒントのままである。
• 部位ベースのボディモデルは、異なるボディパーツを個別に処理することで、ポーズや視点の変化に起因する問題を緩和し、記述子のロバスト性を著しく向上させる。
• 色やテクスチャ記述子（例：LBP）などの局所的特徴は広く使用されており、特にグローバル特徴と組み合わせると効果的である。
• 体形測定値は有望ではあるが、非制約的ポーズや正面でない視点からの抽出は依然として困難であり、実用的導入を制限している。
• RGB-Dセンサ（例：Kinect）はリアルタイムでの3次元関節推定と体形測定を可能にするが、正面またはほぼ正面のポーズを必要とし、一般のマルチカメラ監視環境には適さない。
• さまざまな試みにもかかわらず、現実世界の環境における部分的隠蔽、視点の変化、スケールの変化といった課題は完全に解決されておらず、よりロバストな記述子設計の必要性が浮き彫りになっている。