[論文レビュー] Disentanglement-based Cross-Domain Feature Augmentation for Effective Unsupervised Domain Adaptive Person Re-identification

Zhizheng Zhang, Cuiling Lan+5 more|arXiv (Cornell University)|Mar 25, 2021

Video Surveillance and Tracking Methods参考文献 41被引用数 4

ひとこと要約

本稿では、人物再識別における非教師付きドメイン適応のための新規手法である、分離型クロスドメイン特徴拡張（DCDFA）を提案する。DCDFAは特徴をドメイン不変（アイデンティティ保持）成分とドメイン固有成分に分離し、その後クロスドメイン特徴再構成を実行することで、多様で信頼性の高い拡張訓練サンプルを生成する。DCDFAは推論コストを増加させることなく、強固なアイデンティティ一般化と分布近似の向上を実現し、最先端の性能を達成する。

ABSTRACT

Unsupervised domain adaptive (UDA) person re-identification (ReID) aims to transfer the knowledge from the labeled source domain to the unlabeled target domain for person matching. One challenge is how to generate target domain samples with reliable labels for training. To address this problem, we propose a Disentanglement-based Cross-Domain Feature Augmentation (DCDFA) strategy, where the augmented features characterize well the target and source domain data distributions while inheriting reliable identity labels. Particularly, we disentangle each sample feature into a robust domain-invariant/shared feature and a domain-specific feature, and perform cross-domain feature recomposition to enhance the diversity of samples used in the training, with the constraints of cross-domain ReID loss and domain classification loss. Each recomposed feature, obtained based on the domain-invariant feature (which enables a reliable inheritance of identity) and an enhancement from a domain specific feature (which enables the approximation of real distributions), is thus an "ideal" augmentation. Extensive experimental results demonstrate the effectiveness of our method, which achieves the state-of-the-art performance.

研究の動機と目的

• 教師なしドメイン適応（UDA）における人物再識別において、ソースドメインとターゲットドメインの間のドメインシフトにより生じる信頼性の低い疑似ラベルの課題に対処すること。
• 実データ分布に近いが信頼性の高いアイデンティティラベルを保持する、ターゲットドメイン向けの高品質で多様な訓練サンプルを生成すること。
• 分離表現とクロスドメイン特徴再構成を活用することで、UDA ReIDにおける特徴の一般化性とロバスト性を向上させること。
• 既存のUDA手法と互換性があり、性能をさらに向上させるための汎用的で効率的な拡張戦略を提供すること。

提案手法

• 各入力特徴を、アイデンティティを保持するドメイン不変／共有特徴と、ドメインの特徴をエンコードするドメイン固有特徴に分離する。
• 片方のドメインのドメイン不変特徴と他方のドメインのドメイン固有特徴を組み合わせることで、クロスドメイン特徴再構成を実行し、拡張サンプルを生成する。
• アイデンティティの一貫性を確保するためのクロスドメインReID損失と、ドメイン固有特徴の学習を促進するドメイン分類損失を組み合わせた損失関数を最適化する。
• チャネルごとの特徴分離をガイドするための学習可能なアテンションモジュールを採用し、アブレーションによりチャネルごとのアテンションが最も効果的であることが確認された。
• 識別性を高め、学習の安定化を図るために、アイデンティティベース特徴に対する正則化損失を導入する。
• 推論時においては分離モジュールを破棄することで、推論効率を維持し、訓練時間に5%未満の追加オーバーヘッドをもたらす。

実験結果

リサーチクエスチョン

• RQ1 分離型特徴分解は、人物再識別の教師なしドメイン適応における疑似ラベルの信頼性を向上させ得るか？
• RQ2 クロスドメイン特徴再構成により、実データ分布に近いがアイデンティティラベルを保持する拡張サンプルを生成できるか？
• RQ3 ドメイン不変およびドメイン固有特徴を分離によって組み合わせることで、UDA ReIDにおける一般化性と性能が向上するか？
• RQ4 提案手法DCDFAは、既存のSOTA手法と比較して、効率性と性能の面で優れているか？

主な発見

• DCDFAは、Market-1501 → DukeMTMC-reIDおよびDukeMTMC-reID → Market-1501の設定において、ベースライン比でそれぞれmAPで2.7%および1.8%の向上を達成し、最先端の性能を実現した。
• Market-1501 → MSMT17の設定では27.1%のmAPを達成し、SpCL（28.0%）をわずかに下回るが、依然として非常に競争力があり、自己スケーリングクラスタリング手法と相補的である。
• アイデンティティ分離損失（ℒCID）とドメイン分類損失（ℒDomain）の共同最適化により顕著な性能向上が得られ、両特徴成分に対する明示的监督の重要性が示された。
• アブレーションスタディにより、チャネルごとのアテンションが空間的およびチャネル・空間的アテンションを上回る有効性を持つことが確認された。
• 訓練時間に5%未満の追加オーバーヘッドをもたらし、推論コストは一切発生しないため、非常に効率的かつ実装可能である。
• DCDFAは汎用的かつ効果的なプラグイン型拡張戦略として機能し、SBaseなどの強力なベースライン上に適用することで、顕著な性能向上が得られた。