[論文レビュー] Domain Adaptive Attention Learning for Unsupervised Person Re-Identification

Yangru Huang, Peixi Peng+4 more|arXiv (Cornell University)|May 25, 2019

Video Surveillance and Tracking Methods参考文献 48被引用数 31

ひとこと要約

本稿では、ラベルなしのターゲットドメインへの有効な知識移転を可能にするために、ドメイン共有（DSH）およびドメイン固有（DSP）のコンponentsに特徴マップを分離するドメイン適応型アテンションモデル（DAAM）を提案する。この手法は、1クラス分類に基づく新しいドメイン類似度損失と、ラベルなしデータにおける弱教師付き学習のための重み付き交差エントロピー損失を用い、Market-1501およびDukeMTMC-reIDベンチマークで最先端の性能を達成している。

ABSTRACT

Person re-identification (Re-ID) across multiple datasets is a challenging task due to two main reasons: the presence of large cross-dataset distinctions and the absence of annotated target instances. To address these two issues, this paper proposes a domain adaptive attention learning approach to reliably transfer discriminative representation from the labeled source domain to the unlabeled target domain. In this approach, a domain adaptive attention model is learned to separate the feature map into domain-shared part and domain-specific part. In this manner, the domain-shared part is used to capture transferable cues that can compensate cross-dataset distinctions and give positive contributions to the target task, while the domain-specific part aims to model the noisy information to avoid the negative transfer caused by domain diversity. A soft label loss is further employed to take full use of unlabeled target data by estimating pseudo labels. Extensive experiments on the Market-1501, DukeMTMC-reID and MSMT17 benchmarks demonstrate the proposed approach outperforms the state-of-the-arts.

研究の動機と目的

• 異なる照明、背景、画像品質を持つデータセット間におけるドメインシフトの課題に対処すること。
• ターゲットドメインにアノテーションデータを必要とせずに、ラベル付きのソースドメインから有効な知識移転を可能にすること。
• 移転可能なドメイン共有特徴と併せてドメイン固有特徴を明示的にモデル化することで、ドメイン乖離に起因する悪影響の軽減を図ること。
• クラスタリングに基づく疑似ラベルと重み付き交差エントロピー損失を用いた弱教師付き学習を活用することで、非教師付きクロスドメインRe-IDの性能を向上させること。

提案手法

• 残差アテンション機構を用いて、特徴マップをドメイン共有（DSH）およびドメイン固有（DSP）のコンponentsに分解する、新しいドメイン適応型アテンションモデル（DAAM）を導入する。
• DSHブランチは、ソースドメインおよびターゲットドメインの両方の特徴を共有ノーマルドメインに投影することで、人物再識別に適した判別的表現を学習し、ドメインの乖離を最小限に抑える。
• 1クラス分類に基づくドメイン類似度損失を提案し、ドメイン間でのDSH特徴の整合性を図ることで、ドメイン不変表現学習を促進する。
• クラスタリングにより生成された疑似ラベルを用い、重み付き交差エントロピー損失をラベルなしターゲットデータに適用し、サンプルの重みは疑似ラベルの信頼度を反映する。
• ドメイン固有損失と直交制約を用いて、DSPブランチがドメイン固有特徴を学習し、DSHおよびDSP特徴が補完的かつ分離可能であることを保証する。
• Re-ID、ドメイン類似度、および直交制約損失の共同最適化により、エンドツーエンドでモデルを訓練し、ドメインシフト下でも頑健な移転を実現する。

実験結果

リサーチクエスチョン

• RQ1 統合的な深層学習フレームワークが、非教師付きクロスドメイン人物再識別におけるドメイン共有およびドメイン固有特徴の分離を効果的に行えるか。
• RQ2 ターゲットドメインにラベル付きデータを一切使用せずに、ドメイン乖離をどのように軽減できるか。
• RQ3 クラスタリングによる疑似ラベルと重み付き交差エントロピー損失を用いることで、非教師付きRe-IDの性能はどの程度向上するか。
• RQ4 ドメイン固有特徴を残差コンponentとしてモデル化することで、負の移転を防ぎ、DSH特徴の質を向上させられるか。
• RQ5 クラスタ数やトレーニングイテレーション数といったハイパーパramータの変動に対して、本手法はどの程度頑健か。

主な発見

• Market-1501で学習した場合、DukeMTMC-reIDでmAP 53.1%、Rank-1 77.8%を達成し、先行研究の最先端手法を上回っている。
• Market-1501ベンチマークでは、DukeMTMC-reIDから転移した場合に48.8%のmAPおよび71.3%のRank-1を達成し、優れたクロスドメイン一般化性能を示している。
• アブレーションスタディの結果、ドメイン類似度損失（L^DS）を削除するか、GRLに置き換えると性能が著しく低下し、その有効性が確認された。
• 疑似ラベル付きターゲットデータに重み付き交差エントロピー損失を適用することで、標準的な交差エントロピー損失と比較して性能が12.5%向上した。これは、信頼度を考慮した学習の重要性を示している。
• 疑似ラベルの再精錬を5イテレーションで完了し、最適なクラスタ数は650と特定された。異なるK値に対しても安定した性能を示した。
• 可視化結果から、DSHマップは人物のボディパーツに注目している一方で、DSPマップは背景やドメイン固有のノイズを強調しており、モデルの分離能力が妥当であることが裏付けられた。