[論文レビュー] Camera Adversarial Transfer for Unsupervised Person Re-Identification.

Guillaume Delorme, Xavier Alameda-Pineda+2 more|arXiv (Cornell University)|Apr 2, 2019

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本論文は、クラスタリングに基づく偽ラベル付けとカメラ固有のドメイン適応を統合することで、教師なし人物再識別に向けた新しい条件付き対抗的学習フレームワークを提案する。条件付きGANにおいてクラスターセンタロイドを置換不変な条件付けベクトルとして用いることで、複数のカメラ視点間でドメイン不変な特徴を学習し、3つのデータセットの4つのベンチマーク設定で新たなSOTA性能を達成した。

ABSTRACT

Unsupervised person re-ID is the task of identifying people on a target data set for which the ID labels are unavailable during training. In this paper, we propose to unify two trends in unsupervised person re-ID: clustering & fine-tuning and adversarial learning. On one side, clustering groups training images into pseudo-ID labels, and uses them to fine-tune the feature extractor. On the other side, adversarial learning is used, inspired by domain adaptation, to match distributions from different domains. Since target data is distributed across different camera viewpoints, we propose to model each camera as an independent domain, and aim to learn domain-independent features. Straightforward adversarial learning yields negative transfer, we thus introduce a conditioning vector to mitigate this undesirable effect. In our framework, the centroid of the cluster to which the visual sample belongs is used as conditioning vector of our conditional adversarial network, where the vector is permutation invariant (clusters ordering does not matter) and its size is independent of the number of clusters. To our knowledge, we are the first to propose the use of conditional adversarial networks for unsupervised person re-ID. We evaluate the proposed architecture on top of two state-of-the-art clustering-based unsupervised person re-identification (re-ID) methods on four different experimental settings with three different data sets and set the new state-of-the-art performance on all four of them. Our code and model will be made publicly available at this https URL.

研究の動機と目的

• 訓練データに個人識別ラベルが存在しない教師なし人物再識別の課題に対処すること。
• 異なるカメラ視点間の分布シフトによって引き起こされる対抗的学習におけるネガティブなトランスファーを軽減すること。
• クラスタリングに基づく偽ラベル付けとドメイン適応を統合し、カメラ間での特徴一般化を向上させること。
• クラスタ数に依存せず、クラスタ順序の変動に頑健な条件付けメカニズムを開発すること。
• 識別ラベルを必要とせず、複数の教師なし再識別ベンチマークでSOTA性能を達成すること。

提案手法

• 教師なし人物再識別におけるドメイン適応を可能にするために、各カメラ視点を独立したドメインとしてモデル化する。
• 偽IDラベル付けから得られるクラスターセンタロイドを、条件付き対抗的ネットワークの条件付けベクトルとして用いる。
• 条件付けベクトルを置換不変に設計することで、クラスタ順序の変動に対する頑健性を確保する。
• クラスタ数に依存しない条件付けベクトルのサイズを導入することで、スケーラビリティを維持する。
• カメラ間の特徴分布を整列させる一方で、識別構造を保持する条件付きGANを訓練する。
• クラスタリングから生成された偽ラベルを用いて特徴抽出器をファインチューニングし、一般化性能向上のための対抗的学習を統合する。

実験結果

リサーチクエスチョン

• RQ1 条件付き対抗的学習は、教師なし人物再識別における複数のカメラ視点間の特徴整列を改善できるか？
• RQ2 クラスターセンタロイドを条件付けベクトルとして用いることで、クロスカメラ特徴学習におけるモデルの頑健性と性能にどのような影響を与えるか？
• RQ3 提案手法は、再識別における標準的な対抗的ドメイン適応でよく見られるネガティブなトランスファーを緩和できるか？
• RQ4 既存のクラスタリングに基づく教師なし再識別手法と統合した場合、提案フレームワークはどの程度性能を向上させるか？
• RQ5 識別アノテーションを必要とせず、多様なデータ分布と実験設定においても一般化可能か？

主な発見

• 提案手法は、3つのベンチマークデータセットの4つの実験設定すべてで、新たなSOTA性能を達成した。
• 置換不変な条件付けベクトルとしてのクラスターセンタロイドの使用は、学習の安定化とネガティブなトランスファーの低減に効果的である。
• 条件付き対抗的学習によりドメイン不変な表現を学習することで、フレームワークはクロスカメラ特徴整列を向上させた。
• 追加の監視なしに、多様なデータ分布とカメラ設定においても性能の向上を維持した。
• アブレーションスタディの結果、標準的な対抗的学習に比べて、条件付けメカニズムがマルチカメラ再識別において顕著な性能向上をもたらした。