[論文レビュー] Person Re-identification: Past, Present and Future

Liang Zheng, Yi Yang+1 more|arXiv (Cornell University)|Oct 10, 2016

Video Surveillance and Tracking Methods参考文献 82被引用数 1,038

ひとこと要約

これは、人物 re-identification の総合的な調査であり、その歴史をたどり、画像ベースおよび動画ベースの re-ID の手作業特徴と深層学習法を要約し、エンドツーエンドシステムや大規模検索などの将来の方向性を概説します。

ABSTRACT

Person re-identification (re-ID) has become increasingly popular in the community due to its application and research significance. It aims at spotting a person of interest in other cameras. In the early days, hand-crafted algorithms and small-scale evaluation were predominantly reported. Recent years have witnessed the emergence of large-scale datasets and deep learning systems which make use of large data volumes. Considering different tasks, we classify most current re-ID methods into two classes, i.e., image-based and video-based; in both tasks, hand-crafted and deep learning systems will be reviewed. Moreover, two new re-ID tasks which are much closer to real-world applications are described and discussed, i.e., end-to-end re-ID and fast re-ID in very large galleries. This paper: 1) introduces the history of person re-ID and its relationship with image classification and instance retrieval; 2) surveys a broad selection of the hand-crafted systems and the large-scale methods in both image- and video-based re-ID; 3) describes critical future directions in end-to-end re-ID and fast retrieval in large galleries; and 4) finally briefs some important yet under-developed issues.

研究の動機と目的

• 人物 re-ID、画像分類、インスタンス検索の歴史的文脈と関係性を紹介する。
• 画像ベースおよび動画ベースの re-ID における手作業特徴と深層学習法を概説する。
• エンドツーエンドの re-ID と大規模ギャラリーでの高速検索を将来の方向性として議論する。
• 再ID研究におけるデータセット、評価指標、および未解決の課題を強調する。

提案手法

• re-ID の方法を画像ベースと動画ベースに分類し、それぞれ手作業と深層学習アプローチを含む。
• 距離指標、特に KISSME のようなマハラノビス基づく指標とサブスペース法を検討する。
• CNNベースのモデルを説明し、分類とシアメス/トリプレットアーキテクチャ、およびそれらの学習方式を解説する。
• 評価プロトコル (CMC と mAP) とデータセットの特徴（VIPeR, CUHK03, Market-1501 など）を説明する。
• 検出器の影響、エンドツーエンドのパイプライン、そして大規模検索の課題など、実用的な側面に対処する。

実験結果

リサーチクエスチョン

• RQ1 人物 re-ID の歴史的なマイルストーンと、分類および検索との関係性はどのようなものか。
• RQ2 画像ベースおよび動画ベースの re-ID において、手作業と深層学習の手法はどのように比較されるか。
• RQ3 標準データセットと評価指標は re-ID の進展を形作り、現在の制約について何を示しているか。
• RQ4 エンドツーエンド re-ID、巨大なギャラリーでの高速検索など、実世界導入に最も有望な将来の方向性は何か。
• RQ5 re-ID 研究とデータセット開発における未解決の課題は何か。

主な発見

• 深層学習手法は、大規模データセットの多くで手作業法を上回る傾向があるが、VIPeR は小規模なため例外。
• Market-1501 は時間とともに rank-1 精度で大幅な改善を示す一方で、mAP は相対的に低く、複数カメラ間のリコールを改善する余地を示唆。
• データセットの規模が明確に拡大しており、より大きなデータセットがエンドツーエンド学習とより堅牢な埋め込みを可能にしている。
• 検出器の品質と境界ボックスのアライメントは re-ID の性能に大きく影響し、検出と re-ID を統合したエンドツーエンドのパイプラインの必要性を強調している。
• データセット全体で、識別（分類様式）のモデルは、検証（シアメ/ペア）モデルよりも大きなベンチマークで優れた再識別ラベルの活用を示唆しており、 re-ID ラベルの有効活用が鍵となっている。
• この調査は再ID における深層学習の支配的地位が続くと予測し、より大規模で現実的なデータセットと大規模ギャラリーでのスケーラブルな検索によりブレークスルーが起こると期待している。