[論文レビュー] Person Re-Identification by Deep Joint Learning of Multi-Loss Classification

Wei Li, Xiatian Zhu+1 more|arXiv (Cornell University)|May 12, 2017

Video Surveillance and Tracking Methods参考文献 29被引用数 42

ひとこと要約

本稿では、同一ラベルの監視情報を共有する二本のブランチ構造を採用し、局所的およびグローバル特徴表現を同時に最適化する、新規の共同学習マルチロス（JLML）CNNモデルを提案する。マルチロス分類と構造的スパarsityを導入することで、5つのベンチマークで最先端の性能を達成し、L2距離マッチングを用いるだけでも、強力なベースライン比でmAPを最大1.7%向上させた。

ABSTRACT

Existing person re-identification (re-id) methods rely mostly on either localised or global feature representation alone. This ignores their joint benefit and mutual complementary effects. In this work, we show the advantages of jointly learning local and global features in a Convolutional Neural Network (CNN) by aiming to discover correlated local and global features in different context. Specifically, we formulate a method for joint learning of local and global feature selection losses designed to optimise person re-id when using only generic matching metrics such as the L2 distance. We design a novel CNN architecture for Jointly Learning Multi-Loss (JLML) of local and global discriminative feature optimisation subject concurrently to the same re-id labelled information. Extensive comparative evaluations demonstrate the advantages of this new JLML model for person re-id over a wide range of state-of-the-art re-id methods on five benchmarks (VIPeR, GRID, CUHK01, CUHK03, Market-1501).

研究の動機と目的

• 局所的またはグローバル特徴のいずれかに依存する従来のperson re-ID手法の性能が最適でない問題を解決するため、両方の特徴表現を共同で学習すること。
• 同じアイデンティティの監視下で、局所的およびグローバル特徴の補完的相関を活用し、ポーズ変化、遮蔽、アライメントずれに対する耐性を向上させること。
• 局所的およびグローバルブランチの両方における判別的特徴選択を最適化するとともに、構造的スパarsityによって冗長性を低減する統合的なディープラーニングフレームワークを構築すること。
• マルチロス分類による共同学習が、複雑なメトリック学習を必要としない状況でも性能を向上させられることを示すこと、特に一般的なL2距離マッチングを用いる場合に有効であることを示すこと。

提案手法

• 局所的特徴学習（ボディパーツ）を目的とするブランチと、グローバル特徴学習（バウンディングボックス内全体の人物）を目的とするブランチを有する二本のブランチCNNアーキテクチャを設計する。
• ブランチ間の相互作用を課し、局所的およびグローバル表現間の相関を促進しつつ、独立した判別的学習目的を維持する。
• 同じアイデンティティラベル制約下で、各ブランチに別個の損失関数を適用する——分類には交差エントロピー、特徴選択には構造的スパarsityを用いる。
• 式(6)に示す構造的スパarsity機構を導入し、冗長な特徴を効果的にプルーニングすることで、判別力の向上と冗長性の低減を実現する。
• バックボーンにResNet-39を採用し、マルチロス最適化を用いてエンドツーエンドで学習することで、局所的およびグローバル特徴の品質を同時に向上させる。
• 評価には一般的なマッチングメトリクス（L1/L2）を用い、メトリック固有の適合を必要としないモデルの柔軟性と耐性を示す。

実験結果

リサーチクエスチョン

• RQ1 局所的およびグローバル特徴の共同学習は、単一の特徴タイプに依存する手法と比較して、person re-identificationの性能を向上させることができるか？
• RQ2 特徴学習における構造的スパarsityは、局所的およびグローバル表現の判別力と冗長性にどのように影響を与えるか？
• RQ3 追加のメトリック学習を必要としない状況でも、JLMLモデルは一般的なマッチングメトリクス（例：L2距離）を用いて高い性能を維持できるか？
• RQ4 JLMLフレームワークにおける局所的特徴分解に最適なボディパーツ数は何か？
• RQ5 局所的およびグローバル特徴の補完的効果は、アライメントずれや遮蔽の処理において、どのように比較されるか？

主な発見

• JLMLモデルは5つのベンチマークデータセットで最先端の性能を達成し、マルチクエリ評価下でMarket-1501データセットにおいてRank-1が89.7%、mAPが74.5%を達成した。
• 構造的スパarsityに基づく選択的特徴学習（SFL）機構により、シングルクエリのMarket-1501設定でmAPが1.7%（63.8% → 65.5%）およびRank-1が1.7%（83.4% → 85.1%）向上した。
• L1またはL2距離を用いたマッチングで性能にほとんど差がなく、モデルの柔軟性と耐性が確認された。
• 4つのボディパーツ（頭部＋肩、上半身、太もも上部、太もも下部）が最適な性能を発揮し、2、6、8、10パーツを使用した場合に性能が低下した。
• 6枚のプローブ画像を用いた定性的比較により、アライメントずれや遮蔽の状況では局所的特徴がグローバル特徴を著しく上回ることが示された。
• JLML特徴に従来のメトリック学習（例：XQDA、KISSME、CRAFT）を追加しても効果がなく、むしろ性能が低下する傾向にあり、JLMLの優れた内在的特徴品質を示している。