[論文レビュー] Deep Transfer Learning for Person Re-identification

Mengyue Geng, Yaowei Wang+2 more|arXiv (Cornell University)|Nov 16, 2016

Video Surveillance and Tracking Methods参考文献 40被引用数 218

ひとこと要約

本論文は、ImageNet-pretrained two-loss Siamese network を用いた人の再識別（Re-ID）の深層転移学習フレームワークを提案し、二段階のファインチューニング戦略と、共訓練に基づく監督なし転移を組み合わせ、いくつかのデータセットで最先端のRank-1結果を達成している。

ABSTRACT

Person re-identification (Re-ID) poses a unique challenge to deep learning: how to learn a deep model with millions of parameters on a small training set of few or no labels. In this paper, a number of deep transfer learning models are proposed to address the data sparsity problem. First, a deep network architecture is designed which differs from existing deep Re-ID models in that (a) it is more suitable for transferring representations learned from large image classification datasets, and (b) classification loss and verification loss are combined, each of which adopts a different dropout strategy. Second, a two-stepped fine-tuning strategy is developed to transfer knowledge from auxiliary datasets. Third, given an unlabelled Re-ID dataset, a novel unsupervised deep transfer learning model is developed based on co-training. The proposed models outperform the state-of-the-art deep Re-ID models by large margins: we achieve Rank-1 accuracy of 85.4\%, 83.7\% and 56.3\% on CUHK03, Market1501, and VIPeR respectively, whilst on VIPeR, our unsupervised model (45.1\%) beats most supervised models.

研究の動機と目的

• ラベル付きデータセットが小さいため、Re-ID をデータが不足した深層学習問題として動機づける。
• ImageNetで学習した表現をRe-IDタスクへ転送するネットワークアーキテクチャを設計する。
• タスクとドメインのギャップを橋渡しする訓練戦略（two-step fine-tuning）を開発する。
• ラベルなしのRe-IDデータのための監督なし・共訓練ベースの転移学習モデルを導入する。

提案手法

• 共有ベースネットワーク（GoogLeNet）を持つ two-branch Siamese network を用いる。
• 移植可能な特徴を学習するために、 identity分類損失 と pairwise verification loss を組み合わせる。
• 損失に特化した dropout を適用する: 分類には標準 dropout、検証には pairwise-consistent dropout を適用。
• 二段階のファインチューニング戦略を提案する（まず新しい分類層をファインチューニングし、次に全レイヤをファインチューニング）。
• グラフ正則化サブスペース学習モデルと自己訓練Deep CNNを組み合わせた、co-trainingベースの無監督ドメイン適応フレームワークを開発する。

実験結果

リサーチクエスチョン

• RQ1 ImageNet-derived representations を dual-loss objective で人の Re-ID に効果的に転送できるか。
• RQ2 二段階ファインチューニング戦略は ImageNet から大規模データセットへ、そして小さな Re-ID データセットへの転送を改善するか。
• RQ3 co-training による無監督ドメイン適応は Re-ID ベンチマーク上で監視付き手法を上回るか。

主な発見

• 提案モデルは CUHK03, Market1501, VIPeR でそれぞれ Rank-1 accuracies 85.4%, 83.7%, および 56.3% を達成。
• VIPeR において、無監督モデル（45.1%）はほとんどの監視付きモデルを上回り、強力な無監督転移性能を示す。
• two-loss Siamese アーキテクチャと二つの異なる dropout 戦略は、pairwise-consistent dropout を用いると Re-ID の精度を約 3% 向上させる。
• 二段階ファインチューニング戦略は、従来の一段階ファインチューニングよりも優れており、特にターゲットデータが小さい場合に効果的。
• 5 つのベンチマークにわたって、提案モデルは最先端の深層 Re-ID モデルを大きなマージンで上回る。