[論文レビュー] Unsupervised Person Re-identification: Clustering and Fine-tuning

Hehe Fan, Liang Zheng+1 more|arXiv (Cornell University)|May 30, 2017

Video Surveillance and Tracking Methods被引用数 150

ひとこと要約

本論文は、Progressive Unsupervised Learning (PUL) を提案し、クラスタリングと CNN の微調整を自己ペースのサンプル選択と交互に行い、ラベルがほとんど or なしでも深い re-ID 特徴を学習し、ベースラインや他の教師なし手法に対してデータセット間の改善を示します。

ABSTRACT

The superiority of deeply learned pedestrian representations has been reported in very recent literature of person re-identification (re-ID). In this paper, we consider the more pragmatic issue of learning a deep feature with no or only a few labels. We propose a progressive unsupervised learning (PUL) method to transfer pretrained deep representations to unseen domains. Our method is easy to implement and can be viewed as an effective baseline for unsupervised re-ID feature learning. Specifically, PUL iterates between 1) pedestrian clustering and 2) fine-tuning of the convolutional neural network (CNN) to improve the original model trained on the irrelevant labeled dataset. Since the clustering results can be very noisy, we add a selection operation between the clustering and fine-tuning. At the beginning when the model is weak, CNN is fine-tuned on a small amount of reliable examples which locate near to cluster centroids in the feature space. As the model becomes stronger in subsequent iterations, more images are being adaptively selected as CNN training samples. Progressively, pedestrian clustering and the CNN model are improved simultaneously until algorithm convergence. This process is naturally formulated as self-paced learning. We then point out promising directions that may lead to further improvement. Extensive experiments on three large-scale re-ID datasets demonstrate that PUL outputs discriminative features that improve the re-ID accuracy.

研究の動機と目的

• 新しい展開環境における person re-ID のラベル付きデータ不足に対処する。
• 事前学習済み表現をラベルなしドメインに適応させる、シンプルでエンドツーエンドの教師なし学習フレームワークを提案する。
• 学習を安定化させるために、クラスタリングと自己ペース（易→難）サンプル選択を統合する。
• データセット間の re-ID 性能を評価し、限定されたラベルでの半教師あり拡張を検討する。

提案手法

• ImageNet で事前学習された CNN を外部のラベル付きデータセットで初期化する。
• ラベルなし集合から特徴を反復的に抽出し、k-means クラスタリングを実行し、信頼性閾値 lambda を用いた自己ペース基準でクラスタ中心近傍の信頼できるサンプルを選択する。
• 選択した信頼サンプルのみによる分類（softmax）損失で CNN を微調整する（必要に応じて対比学習/トリプレットなどの代替損失も使用）。
• クラスタリング、選択、微調整の各ステップを収束まで繰り返し、クラスタリングとモデルの同時改善を可能にする。
• 反復中に信頼サブセットへ小量のラベル付きデータを注入することで、半教師なし学習へ任意に拡張する。

実験結果

リサーチクエスチョン

• RQ1 教師なしフレームワークは、異なるデータセット間で person re-ID の識別的な深層特徴を学習できるか。
• RQ2 信頼できるサンプル選択（自己ペース学習）は、全クラスタリング結果を使用する場合と比べて安定性と精度を向上させるか。
• RQ3 主要なハイパーパラメータ（信頼性閾値 lambda およびクラスタ数 K）が性能と収束にどのように影響するか。
• RQ4 PUL は非深層の教師なし法とどのように比較され、半教師あり設定でどの程度の利得が得られるか。

主な発見

• PUL は、別データセットで微調整したベースライン CNN よりもデータセット間の re-ID 精度を向上させる。
• Duke を初期化に、Market-1501 をテストセットとして用いると、PUL はベースラインに比べて rank-1 精度で +8.6%、mAP で +5.9% の改善を達成する。
• サンプル選択なしでは PUL はほとんど改善をもたらさず、信頼できるサンプル選択の必要性を浮き彫りにする。
• 半教師あり拡張でラベル付きデータを増やすと 顕著な利得 を得られる（例：25 個または 50 個のラベル付き ID を用いると、データセット間で教師なしベースラインを上回る改善が観察される）。
• PUL は先行する教師なし手法（UMDL）を大きな差で上回り、半教師あり設定での利得は拡大する（例：Market-1501 で 50 IDs を用いた場合、rank-1 で最大 +15.3%）。
• アブレーション研究は、強力な性能を達成する上でサンプル選択の重要な役割を示している。