[論文レビュー] Cross Domain Knowledge Transfer for Person Re-identification

Qiqi Xiao, Kelei Cao+3 more|arXiv (Cornell University)|Nov 18, 2016

Video Surveillance and Tracking Methods参考文献 29被引用数 14

ひとこと要約

本稿では、事前学習モデルから得られる中レベルの属性特徴量と高レベルの分類特徴量を活用することで、再識別精度を向上させる、人物再識別におけるクロスドメイン知識移行フレームワークを提案する。アイデンティティ分類と属性認識タスクを事前に順次微調整し、その後再識別タスクへ知識を移行する。さらに、判別性の高いボディパーツに注目するための空間ゲート付きLSTMを統合することで、CUHK03で78.3%のランク-1精度を達成し、最先端の手法を上回る性能を示した。

ABSTRACT

Person Re-Identification (re-id) is a challenging task in computer vision, especially when there are limited training data from multiple camera views. In this paper, we pro- pose a deep learning based person re-identification method by transferring knowledge of mid-level attribute features and high-level classification features. Building on the idea that identity classification, attribute recognition and re- identification share the same mid-level semantic representations, they can be trained sequentially by fine-tuning one based on another. In our framework, we train identity classification and attribute recognition tasks from deep Convolutional Neural Network (dCNN) to learn person information. The information can be transferred to the person re-id task and improves its accuracy by a large margin. Further- more, a Long Short Term Memory(LSTM) based Recurrent Neural Network (RNN) component is extended by a spacial gate. This component is used in the re-id model to pay attention to certain spacial parts in each recurrent unit. Experimental results show that our method achieves 78.3% of rank-1 recognition accuracy on the CUHK03 benchmark.

研究の動機と目的

• 限られた学習データ下での人物再識別性能の向上を図るため、関連タスクからの知識移行を実現すること。
• カメラ視点の違いに起因するドメインシフトおよび外観変動の課題に対処すること。
• 中レベルの意味的属性と高レベルの分類特徴量を活用することで、特徴表現を強化すること。
• 判別性の高いボディパーツに注目できる空間ゲート付きLSTM機構を開発し、再識別精度を向上させること。

提案手法

• 本手法は、異なるデータセット（例：Market1501 および 自己アノテーションを施したWebクロールデータセット）上でアイデンティティ分類および属性認識タスクを順次学習し、共有される中レベルの意味的表現を学習する。
• 事前学習済みの分類および属性認識モデルから、特徴量の distillation を通じて再識別モデルへ知識を移行させ、特徴量の判別性を向上させる。
• 空間ゲート付きLSTMコンponentsを導入し、各再帰ステップで学習可能なゲート機構が特徴マップの特定の空間領域に動的に重みを付与する。
• 空間ゲートは、細粒度の空間的詳細を保持するため、ネットワークの低層に適用される。これにより、重要なボディパーツへの注目が強化される。
• ゲート付きLSTMを用いて再識別モデルをエンドツーエンドで訓練することで、特徴抽出中に注目領域を適応的に選択できるようにする。
• 本フレームワークはクロスドメイン移行をサポートしており、あるデータセット（例：Market1501）で学習したモデルを、別のデータセット（例：CUHK03）でファインチューニングすることで、汎化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 アイデンティティ分類および属性認識タスクからの知識移行が、人物再識別性能の向上に寄与するか？
• RQ2 異なるデータ分布からのクロスドメイン知識移行が、再識別精度に与える影響は何か？
• RQ3 LSTMに空間ゲート付き注目機構を組み込むことで、再識別における特徴表現が向上するか？
• RQ4 中レベルの意味的特徴（属性）と高レベルの分類特徴量の、再識別における相対的寄与度は何か？
• RQ5 提案手法は、類似した現実世界の条件を有する未観測データセットへ一般化可能か？

主な発見

• 提案手法は、CUHK03ベンチマークで78.3%のランク-1精度を達成し、既存の最先端手法を顕著に上回った。
• 細粒度マスク注目機構を備えた空間ゲート付きLSTMは、グローバル、ローカル、ソフト注目マスクと比較して優れた性能を示し、テストされたすべてのマスクタイプの中で最高の性能を達成した。
• 細粒度マスク注目機構は、より豊かな空間的詳細を保持する低層特徴量に注目することで、性能向上に寄与した。
• 9,000人のアイデンティティを含むより大きな自己アノテーションデータセットで学習することで、ランク-1精度が74.8%（Market1501）から78.3%に向上し、より多くのデータの利点を示した。
• モデルは未観測データセットへも良好に一般化し、照明、ポーズ、視点の変動が生じる現実世界のシナリオでも強力な性能を示した。
• アブレーションスタディの結果、属性認識およびアイデンティティ分類タスクからの知識移行が、再識別精度の向上に顕著に寄与することが確認された。