[論文レビュー] Deep Learning for Person Re-identification: A Survey and Outlook

Mang Ye, Jianbing Shen+4 more|arXiv (Cornell University)|Jan 13, 2020

Video Surveillance and Tracking Methods被引用数 120

ひとこと要約

この調査は閉じた世界と開かれた世界の人物再識別を分析し、AGWベースラインと新しいmINP指標を提案し、開かれた課題と今後の方向性を概説します。

ABSTRACT

Person re-identification (Re-ID) aims at retrieving a person of interest across multiple non-overlapping cameras. With the advancement of deep neural networks and increasing demand of intelligent video surveillance, it has gained significantly increased interest in the computer vision community. By dissecting the involved components in developing a person Re-ID system, we categorize it into the closed-world and open-world settings. The widely studied closed-world setting is usually applied under various research-oriented assumptions, and has achieved inspiring success using deep learning techniques on a number of datasets. We first conduct a comprehensive overview with in-depth analysis for closed-world person Re-ID from three different perspectives, including deep feature representation learning, deep metric learning and ranking optimization. With the performance saturation under closed-world setting, the research focus for person Re-ID has recently shifted to the open-world setting, facing more challenging issues. This setting is closer to practical applications under specific scenarios. We summarize the open-world Re-ID in terms of five different aspects. By analyzing the advantages of existing methods, we design a powerful AGW baseline, achieving state-of-the-art or at least comparable performance on twelve datasets for FOUR different Re-ID tasks. Meanwhile, we introduce a new evaluation metric (mINP) for person Re-ID, indicating the cost for finding all the correct matches, which provides an additional criteria to evaluate the Re-ID system for real applications. Finally, some important yet under-investigated open issues are discussed.

研究の動機と目的

• 深層学習の下での閉じた世界の人物再識別の主要な要素と課題を要約する。
• 閉じた世界と開かれた世界のRe-IDを区別し、それぞれの方法論を分析する。
• 将来の研究を促進するため、強力なベースライン（AGW）と新しい評価指標（mINP）を提案する。
• 実世界のRe-IDシステムにおける未解決の課題と実践的考慮事項を論じる。

提案手法

• 閉じた世界のRe-IDにおける深層特徴表現学習、深層計量学習、ランキング最適化をレビューする。
• Global、Local、Auxiliary、Videoの4つの特徴学習戦略を紹介し、分析する。
• 深層Re-IDモデルの訓練に用いる損失関数（アイデンティティ、検証、トリプレット、OIM）とサンプリング戦略を論じる。
• 強力なベースラインとしてAGW（Attention Generalized mean pooling with Weighted triplet loss）を提案する。
• 補助的な評価指標としてmINP（mean Inverse Negative Penalty）を導入する。

実験結果

リサーチクエスチョン

• RQ1 閉じた世界の人物Re-IDに対する現在の深層学習アプローチの強みと限界は何か？
• RQ2 オープンワールド設定はどのように追加の課題を生み出し、どの方法がそれらに対処しているか？
• RQ3 データセットとタスクを横断して強力で一般化可能なベースラインとは何か？
• RQ4 新しいmINP指標は、CMC/mAPがRe-IDシステムを評価する際にどのように補完するのか？

主な発見

• AGWベースラインは、4つのRe-IDタスクにわたり12のデータセットで最先端または競争力のある性能を達成する。
• mINPは、すべての正解マッチを見つけるのにかかるコストを測定する追加の指標を提供する。
• オープンワールドの課題には、異種データ、エンドツーエンド検索、限られた/ノイズ付きラベル、ラベルノイズ、オープンセット検索が含まれる。
• 閉じた世界のベンチマークと実世界への展開のギャップを埋めるための未解決課題を特定する。