[論文レビュー] Open-set Person Re-identification

Shengcai Liao, Zhipeng Mo+3 more|arXiv (Cornell University)|Aug 5, 2014

Video Surveillance and Tracking Methods参考文献 25被引用数 32

ひとこと要約

この論文は、プローブ対象者がギャラリーに存在するかどうかを検出する必要があり、存在する場合は同定するというオープンセット・ペルソンリコグニション問題を導入する。著者らは、200人の人物と7,413枚の画像を含むマルチカメラデータセットを用いた新しいベンチマークを提案し、メトリクス学習アルゴリズムの評価を実施した。RRDAが最高の性能を示したが、全体的な結果は依然として低く、問題は未だ大きく解決されておらず、さらなる研究が求められることが示された。

ABSTRACT

Person re-identification is becoming a hot research for developing both machine learning algorithms and video surveillance applications. The task of person re-identification is to determine which person in a gallery has the same identity to a probe image. This task basically assumes that the subject of the probe image belongs to the gallery, that is, the gallery contains this person. However, in practical applications such as searching a suspect in a video, this assumption is usually not true. In this paper, we consider the open-set person re-identification problem, which includes two sub-tasks, detection and identification. The detection sub-task is to determine the presence of the probe subject in the gallery, and the identification sub-task is to determine which person in the gallery has the same identity as the accepted probe. We present a database collected from a video surveillance setting of 6 cameras, with 200 persons and 7,413 images segmented. Based on this database, we develop a benchmark protocol for evaluating the performance under the open-set person re-identification scenario. Several popular metric learning algorithms for person re-identification have been evaluated as baselines. From the baseline performance, we observe that the open-set person re-identification problem is still largely unresolved, thus further attention and effort is needed.

研究の動機と目的

• 実際の監視環境において、プローブ対象者がギャラリーに存在しない場合があるというクローズドセット・ペルソンリコグニションの限界を解決すること。
• 存在の検出（ギャラリー内に存在するか）と同定（同一人物かの照合）の両方を含む、現実的で信頼性のあるオープンセット・ペルソンリコグニションのベンチマークを開発すること。
• 未観測の人物や未知のカメラビューに対するメトリクス学習アルゴリズムの一般化能力を評価すること。
• オープンセット・ペルソンリコグニション分野の研究を促進するために、公開可能なデータセット、特徴量、ベンチマークツールを提供すること。
• オープンセット条件下での現在の手法に顕著な性能格差が存在することを強調し、さらなるアルゴリズム開発の必要性を訴えること。

提案手法

• 6台のカメラから構成されるマルチカメラ監視データセットを収集し、200人の人物と7,413枚のセグメンテーション済み画像を含むOPeRID v1.0データセットを構築した。
• 4つのサブセット（トレーニング、ギャラリー、真正プローブ、偽物プローブ）を含むベンチマークプロトコルを設計し、テストセット = ギャラリー + プローブ（真正 + 偽物）とした。
• 未観測の人物やカメラビューへの一般化を評価するため、トレーニングセット上で一般化カメラに依存しないペルソンリコグニションモデルを訓練した。
• 複数のメトリクス学習アルゴリズム（アイデンティティ（ユークリッド距離）、MAHAL（マハラノビス距離）、LMNN、ITML、KISSME、LADF、および新規のリッジ回帰に基づく判別分析（RRDA））を実装・評価した。
• RRDAが導出した部分空間上でコサイン類似度を用いて類似度測定を行い、オープンセット検出にはしきい値判定ルールを適用した。
• AUC曲線（ランク=1およびランク=10）、CMC曲線（FAR=1%および10%）、および固定FAR（1%および10%）における検出率・同定率を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 既存のメトリクス学習アルゴリズムは、プローブ対象者がギャラリーに存在しないオープンセット・ペルソンリコグニション環境において、どの程度一般化できるか？
• RQ2 現実の法医学的監視環境下で、クローズドセットとオープンセットのペルソンリコグニションの性能格差はどの程度か？
• RQ3 ギャラリー内にプローブ対象者が存在するかを検出し、存在する場合は同定するというタスクにおいて、どのメトリクス学習アルゴリズムが最も優れた性能を示すか？
• RQ4 リッジ回帰を用いた判別部分空間（RRDA）を用いることで、他の手法に比べてオープンセット検出および同定性能がどの程度向上するか？
• RQ5 オープンセット設定下で、固定偽陽性率（FAR=1%および10%）における検出率と同定率はどのように変化するか？

主な発見

• 実際の運用条件下で、すべての評価済みアルゴリズムにおいて性能が著しく低いことから、オープンセット・ペルソンリコグニション問題は未だ大きく解決されていないことが示された。
• FAR=1%において、最高性能を示したRRDAでも、ランク=1では3.99%の検出率、ランク=10では4.35%にとどまり、未観測のアイデンティティへの一般化が弱いことが明らかになった。
• FAR=10%では、RRDAがランク=1で14.51%、ランク=10で16.72%の検出率を達成したが、依然として実用的とは言えない水準であり、トップパフォーマンスであるにもかかわらず。
• すべてのアルゴリズムがランク10以降でほとんど改善を示さず、低ランクでの真正マッチングスコアが一貫して判定しきい値を下回っていることが示された。
• 最良のアルゴリズム（RRDA）でさえ、FAR=10%において17%未満の検出率にとどまり、新規手法の開発が極めて重要な課題であることが浮き彫りになった。
• 単純なRRDA手法が、KISSME、MAHAL、LADFを含む他のベースラインすべてを上回り、オープンセット環境下でも高いロバスト性を示した。