[論文レビュー] CANU-ReID: A Conditional Adversarial Network for Unsupervised person Re-IDentification

Guillaume Delorme, Yihong Xu+3 more|arXiv (Cornell University)|Apr 2, 2019

Video Surveillance and Tracking Methods参考文献 56被引用数 14

ひとこと要約

本稿では、クラスタ中心を条件としてカメラベースの adversarial training を行うことで、カメラ依存の特徴バイアスを低減し、教師なし人物再識別を向上させる条件付き対抗ネットワーク、CANU-ReID を提案する。クラスタリングに基づく疑似ラベル付けとアイデンティティに配慮したドメイン適応を統合することで、4つのベンチマーク設定で最先端の性能を達成する。

ABSTRACT

Unsupervised person re-ID is the task of identifying people on a target data set for which the ID labels are unavailable during training. In this paper, we propose to unify two trends in unsupervised person re-ID: clustering & fine-tuning and adversarial learning. On one side, clustering groups training images into pseudo-ID labels, and uses them to fine-tune the feature extractor. On the other side, adversarial learning is used, inspired by domain adaptation, to match distributions from different domains. Since target data is distributed across different camera viewpoints, we propose to model each camera as an independent domain, and aim to learn domain-independent features. Straightforward adversarial learning yields negative transfer, we thus introduce a conditioning vector to mitigate this undesirable effect. In our framework, the centroid of the cluster to which the visual sample belongs is used as conditioning vector of our conditional adversarial network, where the vector is permutation invariant (clusters ordering does not matter) and its size is independent of the number of clusters. To our knowledge, we are the first to propose the use of conditional adversarial networks for unsupervised person re-ID. We evaluate the proposed architecture on top of two state-of-the-art clustering-based unsupervised person re-identification (re-ID) methods on four different experimental settings with three different data sets and set the new state-of-the-art performance on all four of them. Our code and model will be made publicly available at https://team.inria.fr/perception/canu-reid/.

研究の動機と目的

• 教師なし人物再識別におけるドメインシフトの課題に対処すること。特に、ターゲットデータに正解ラベルが存在しない状況を想定する。
• 標準的な対抗学習では、誤って特徴にカメラ固有のバイアスを組み込むため、負の転送を回避すること。
• クラスタリングに基づく疑似ラベル付けと対抗ドメイン適応を統合し、カメラ視点間での特徴一般化を向上させること。
• アイデンティティ情報を保持しつつ、学習された特徴のカメラ依存性を低減する条件付け機構を開発すること。
• 教師なしターゲットデータを必要とせずに、条件付き対抗訓練がクラスタリングの質と再識別性能を向上させることを実証すること。

提案手法

• 教師なしターゲット画像から正解ラベルが存在しない状態で、事前学習済みの特徴抽出器を用いて深層特徴を生成する。
• DBSCAN クラスタリングを適用して特徴を疑似IDにグループ化し、クラスタ中心をアイデンティティの代表表現として用いる。
• サンプルが属するクラスタの中心を条件として与えることで、カメラドメインを分類する条件付き対抗識別器を設計する。
• 条件ベクトルが順列に不変であり、クラスタ数に依存しないようにし、スケーラビリティとロバストネスを確保する。
• 生成器がドメイン分類誤差を最小化するとともにアイデンティティの一貫性を保つように、ミニマックス目的関数により特徴抽出器と識別器を同時に学習する。
• 既存のクラスタリングベースの教師なし再識別フレームワーク（例：MMT）に、プラグインモジュールとして条件付き対抗モジュールを統合する。

実験結果

リサーチクエスチョン

• RQ1 対抗学習は、教師なし人物再識別においてカメラ固有のバイアスを効果的に低減できるか？
• RQ2 クラスタ中心を対抗識別器の条件として用いることで、カメラ間で不均一に分布するIDに起因する負の転送を緩和できるか？
• RQ3 標準的な対抗学習と比較して、提案手法の条件付き戦略はクラスタリングの質と再識別精度においてどのように優れているか？
• RQ4 特徴表現からカメラ依存性を除去する一方で、アイデンティティ情報をどの程度保持できるか？
• RQ5 提案フレームワークは、既存のクラスタリングベースの教師なし再識別ベースラインに普遍的に適用可能であり、性能向上をもたらすか？

主な発見

• CANU-ReID は、DukeMTMC、Market-1501、MSMT1287 の3つのデータセットにおいて、4つの評価設定すべてで新たな最先端性能を達成した。
• 条件付き対抗戦略により、疑似ラベルとカメラインデックス間の相互情報量が顕著に低下し、学習された特徴のカメラ依存性が低減していることが示された。
• 反復的クラスタリングの過程で失われるアイデンティティ数が減少し、繰り返しの訓練エポックにわたる疑似ラベル付けの安定性とロバストネスが向上した。
• アブレーションスタディの結果、純粋な対抗学習と比較して、CANU-ReID はカメラバイアスを低減しつつも、アイデンティティ情報をよりよく保持していることが確認された。
• 中心に基づく条件付けにより、クラスタ数が変動しても一貫性があり汎用性の高い特徴が得られ、性能が安定した。
• 提案されたフレームワークは、既存のクラスタリングベースの再識別手法と互換性があり、統合することで一貫して性能が向上した。