[論文レビュー] Towards Discriminative Representation Learning for Unsupervised Person Re-identification

Takashi Isobe, Dong Li+4 more|arXiv (Cornell University)|Aug 7, 2021

Video Surveillance and Tracking Methods参考文献 84被引用数 4

ひとこと要約

本論文は、クラスターワイズの対照的学習、段階的ドメイン適応、フーリエ空間における増幅を用いて特徴の判別力を向上させる、教師なし人物再識別の統合フレームワークを提案する。反復的な疑似ラベルの最適化、段階的かつ徐々にソースドメインからターゲットドメインへの知識の転送、周波数ドメインにおけるクラス分離性の強化により、複数のベンチマークで最先端の性能を達成し、MMTをmAPで8.1%〜11.4%上回った。

ABSTRACT

In this work, we address the problem of unsupervised domain adaptation for person re-ID where annotations are available for the source domain but not for target. Previous methods typically follow a two-stage optimization pipeline, where the network is first pre-trained on source and then fine-tuned on target with pseudo labels created by feature clustering. Such methods sustain two main limitations. (1) The label noise may hinder the learning of discriminative features for recognizing target classes. (2) The domain gap may hinder knowledge transferring from source to target. We propose three types of technical schemes to alleviate these issues. First, we propose a cluster-wise contrastive learning algorithm (CCL) by iterative optimization of feature learning and cluster refinery to learn noise-tolerant representations in the unsupervised manner. Second, we adopt a progressive domain adaptation (PDA) strategy to gradually mitigate the domain gap between source and target data. Third, we propose Fourier augmentation (FA) for further maximizing the class separability of re-ID models by imposing extra constraints in the Fourier space. We observe that these proposed schemes are capable of facilitating the learning of discriminative feature representations. Experiments demonstrate that our method consistently achieves notable improvements over the state-of-the-art unsupervised re-ID methods on multiple benchmarks, e.g., surpassing MMT largely by 8.1\%, 9.9\%, 11.4\% and 11.1\% mAP on the Market-to-Duke, Duke-to-Market, Market-to-MSMT and Duke-to-MSMT tasks, respectively.

研究の動機と目的

• 既存の教師なしドメイン適応手法が人物再識別において抱える限界、特にラベルノイズとソースドメインからターゲットドメインへの知識転送の悪さを是正すること。
• 未ラベルのターゲットデータに対するクラスタリングから得られる疑似ラベルのノイズを、対照的学習を用いた反復的最適化によって低減すること。
• 2段階訓練を段階的ドメイン適応戦略に置き換えることで、ラベル付きソースドメインから未ラベルのターゲットドメインへの知識転送を向上させること。
• 周波数ドメインに追加の制約を導入することで、学習された特徴のクラス分離性を向上させること。
• ターゲットドメインに手動でのアノテーションを一切不要としつつ、複数のクロスドメイン人物再識別ベンチマークで最先端の性能を達成すること。

提案手法

• クラスターワイズ対照的学習（CCL）を導入し、クラスタリングから得た疑似ラベルを対照的学習の教師信号として用いる。モーメンタムベースの移動平均エンコーダーと動的キューを用いて負例サンプルを管理する。
• 段階的ドメイン適応（PDA）戦略を採用し、ソースドメインとターゲットドメインを同時に学習する。損失重みを動的に調整することで、段階的にソースからターゲットの監視にシフトし、知識転送を向上させる。
• フーリエ増幅（FA）を適用し、振幅スペクトル特徴に追加の損失関数を計算することで、非線形変換として扱い、判別力の向上を図る。
• 特徴のクラスタリングと対照的学習を交互に実行する統一されたトレーニングパイプラインを採用し、疑似ラベルの改善と表現品質の段階的向上を実現する。
• 空間領域とフーリエ領域の両方で同時に学習可能なマルチブランチヘッドを実装し、学習可能な損失重みを用いて2つの教師信号のバランスを取る。
• トレーニングの安定化とミニバッチ内での多様な負例サンプルの提供を目的に、モーメンタムエンコーダーとメモリキューを導入する。

Figure 1: Given labeled source data and unlabeled target data, our goal is to learn feature representations for recognizing target classes. For this unsupervised domain adaptation task, we propose three technical schemes to learn discriminative target features: (a) cluster-wise contrastive learning,

実験結果

リサーチクエスチョン

• RQ1 クラスターワイズ対照的学習は、疑似ラベル化された教師なし再識別におけるラベルノイズを低減させ、特徴の判別性を向上させることができるか？
• RQ2 段階的ドメイン適応は、標準的な2段階微調整に比べ、ソースドメインからターゲットドメインへの知識転送を効果的に向上させることができるか？
• RQ3 フーリエドメインにおける制約は、空間特徴のみに比べてクラス分離性を向上させ、再識別性能を向上させることができるか？
• RQ4 異なる損失重み設定やキューのサイズは、提案フレームワークの頑健性と性能にどのように影響を与えるか？
• RQ5 CCL、PDA、FAの組み合わせが、多様なクロスドメイン再識別ベンチマークで一貫した性能向上をもたらすか、その程度はいかほどか？

主な発見

• 提案手法は、Market-to-Dukeで69.4%のmAPと82.7%のrank-1を達成し、以前の最先端手法MMTをmAPで11.4%上回った。
• Duke-to-Marketでは、82.2%のmAPと93.6%のrank-1を達成し、MMTをmAPで11.1%上回った。
• アブレーションスタディにより、3段階ポリシーを用いた段階的ドメイン適応が、静的重み設定や2段階学習を上回り、静的0.2/0.8重み設定に対して7.3%のmAP向上を示した。
• フーリエ増幅を空間特徴と組み合わせることで、Market-to-Dukeで69.4%のmAPを達成し、空間特徴のみ（67.3%または67.6%）を上回り、すべてのベンチマークで一貫した向上を示した。
• 最適なハイパーパrameterはδ=0.1およびγ=0.7であり、評価されたすべての設定で最良の性能を示した。
• キューのサイズや正例サンプリングに対して頑健であることが示され、|N_past|=1024が最良の性能を示した。

Figure 2: Illustration of the proposed unified framework for unsupervised cross-domain person re-ID.