[論文レビュー] Joint Disentangling and Adaptation for Cross-Domain Person Re-Identification

Yang Zou, Xiaodong Yang+3 more|arXiv (Cornell University)|Jul 20, 2020

Video Surveillance and Tracking Methods参考文献 41被引用数 19

ひとこと要約

本論文は、クロスドメインの人物再識別における統合的分離および適応フレームワークを提案し、識別子関連（外見）と識別子非関連（ポーズ、背景、照明）の特徴を分離することで、識別子関連の空間にのみ焦点を当てた的確な適応を可能にする。分離された外見空間上で敵対的アライメントと自己学習を組み合わせたサイクル整合性のある画像生成モジュールを共同設計することで、従来の教師なしドメイン適応手法に比べ顕著な向上を達成し、最先端の性能を実現した。

ABSTRACT

Although a significant progress has been witnessed in supervised person re-identification (re-id), it remains challenging to generalize re-id models to new domains due to the huge domain gaps. Recently, there has been a growing interest in using unsupervised domain adaptation to address this scalability issue. Existing methods typically conduct adaptation on the representation space that contains both id-related and id-unrelated factors, thus inevitably undermining the adaptation efficacy of id-related features. In this paper, we seek to improve adaptation by purifying the representation space to be adapted. To this end, we propose a joint learning framework that disentangles id-related/unrelated features and enforces adaptation to work on the id-related feature space exclusively. Our model involves a disentangling module that encodes cross-domain images into a shared appearance space and two separate structure spaces, and an adaptation module that performs adversarial alignment and self-training on the shared appearance space. The two modules are co-designed to be mutually beneficial. Extensive experiments demonstrate that the proposed joint learning framework outperforms the state-of-the-art methods by clear margins.

研究の動機と目的

• ドメインギャップが大きい場合に、あるドメインで学習したモデルが新しいドメインで失敗するというドメインシフトの課題に対処すること。
• 識別子非関連要因（例：ポーズ、背景、照明）が識別子関連特徴学習に干渉するため、混合特徴空間上で動作する従来の教師なしドメイン適応手法の限界を克服すること。
• 特徴の分離とドメイン適応を同時に最適化することで、それぞれのモジュールが互いに強化し合うようにすること。
• 識別子関連特徴空間にのみ焦点を当てた適応を可能にすることで、ドメイン固有の変動からの干渉を最小限に抑えること。

提案手法

• 3つの潜在空間（共有の外見空間（識別子関連）、別個のソースおよびターゲット構造空間（識別子非関連））を持つクロスドメインでサイクル整合性のある画像生成フレームワーク。
• 分離モジュールは3つのエンコーダーを用い、画像を外見コードと構造コードに分解することで、画像再構成とクロスドメイン変換を可能にする。
• 適応は共有外見空間上で実施され、敵対的アライメントとターゲットドメインからの仮ラベルを用いた自己学習によって実現される。
• 分離と適応モジュールを共同で訓練し、より良い分離が適応を向上させ、より良い適応が分離を強化する相互に補完的なプロセスを実現する。
• 損失関数にはサイクル整合性損失、合成画像における識別子分類損失、および外見空間におけるドメインアライメントのための敵対的損失が含まれる。
• ハイパーパrameterをMarket1501 → DukeMTMCで調整したエンドツーエンドの訓練により、λ_cyc および λ_id の変動に対しても頑健であることが示された。

実験結果

リサーチクエスチョン

• RQ1 識別子関連および識別子非関連特徴の分離は、クロスドメインの人物再識別における教師なしドメイン適応を向上させるか？
• RQ2 分離された識別子関連特徴空間にのみ適応を焦点を当てることで、混合特徴空間上で行う統合的適応よりも性能が向上するか？
• RQ3 分離と適応の共同最適化により、互いに補い合う訓練プロセスを構築できるか？
• RQ4 提案手法は、多様なベンチマークにおける大きなドメインギャップに対しても効果的に機能するか？

主な発見

• 提案手法は6つのクロスドメイン人物再識別ベンチマークで最先端の性能を達成し、従来の教師なしドメイン適応手法に明確な優位性を示した。
• アブレーションスタディの結果、クロスドメイン分離または仮識別子監視を除去すると、画像合成品質が著しく低下することが確認され、統合フレームワークの必要性が裏付けられた。
• 定性的な結果から、合成画像が正確な衣装の色とスタイルを保持している一方で、背景や照明を現実的に転送していることが示され、ベースライン手法がフォアグラウンドや構造の転送に失敗するのとは対照的であった。
• ハイパーパrameterの変更に対してもモデルは頑健であり、λ_cyc ∈ [1,4] および λ_id ∈ [0.25,1] の範囲で性能が安定しており、λ_cyc=2 および λ_id=0.5 の選択が妥当であることを裏付けた。
• 衣装スタイル、季節、視点、照明の違いが顕著なドメインペアに対しても、本手法は良好な汎化性能を示した。