[論文レビュー] Structured Domain Adaptation for Unsupervised Person Re-identification.

Yixiao Ge, Feng Zhu+2 more|arXiv (Cornell University)|Jan 1, 2020

Video Surveillance and Tracking Methods被引用数 8

ひとこと要約

本論文は、教師なし人物再識別におけるエンドツーエンドの構造的ドメイン適応フレームワークを提案し、ソースドメインからターゲットドメインへの変換中に関係一貫性を強制する。特徴エンコーダーと翻訳モジュールをオンラインの関係一貫性正則化を用いて同時に最適化することで、疑似ラベルの性能を向上させ、オープンセット再識別ベンチマークで最先端の結果を達成した。

ABSTRACT

Unsupervised domain adaptation (UDA) aims at adapting the model trained on a labeled source-domain dataset to an unlabeled target-domain dataset. The task of UDA on open-set person re-identification (re-ID) is even more challenging as the identities (classes) do not overlap between the two domains. One major research direction was based on domain translation, which, however, has fallen out of favor in recent years due to inferior performance compared to pseudo-label-based methods. We argue that translation-based methods have great potential on exploiting the valuable source-domain data but they did not provide proper regularization on the translation process. Specifically, these methods only focus on maintaining the identities of the translated images while ignoring the inter-sample relation during translation. To tackle the challenge, we propose an end-to-end structured domain adaptation framework with an online relation-consistency regularization term. During training, the person feature encoder is optimized to model inter-sample relations on-the-fly for supervising relation-consistency domain translation, which in turn, improves the encoder with informative translated images. An improved pseudo-label-based encoder can therefore be obtained by jointly training the source-to-target translated images with ground-truth identities and target-domain images with pseudo identities. In the experiments, our proposed framework is shown to outperform state-of-the-art methods on multiple UDA tasks of person re-ID. Code is available at this https URL.

研究の動機と目的

• ソースドメインとターゲットドメインに同一のアイデンティティが重複しないオープンセット再識別における教師なしドメイン適応の課題に対処すること。
• 従来の翻訳ベース手法が、ドメイン変換中にサンプル間の関係に適切な正則化を欠いているという限界を克服すること。
• トレーニング中に構造的で関係一貫性を持つ翻訳画像を活用することで、疑似ラベルの品質を向上させること。
• オンラインの関係一貫性正則化項を用いて、特徴エンコーダーとドメイン変換プロセスを同時に最適化すること。
• 複数の教師なし人物再識別ベンチマーク設定で最先端の性能を達成すること。

提案手法

• エンドツーエンドのフレームワークを導入し、人物特徴エンコーダーとドメイン変換モジュールを同時に学習する。
• サンプル間の特徴関係がソースからターゲットへの変換中に保持されるように、オンラインの関係一貫性正則化項を適用する。
• 真のラベルが付与された翻訳済みソース画像と、疑似ラベルが付与されたターゲットドメイン画像を用いて、共同学習を行う。
• 即座にサンプル間の関係をモデル化できるように特徴エンコーダーを最適化し、これにより変換プロセスを監視する。
• 関係一貫性を持つ翻訳からのフィードバックを活用して、疑似ラベルが付与されたターゲット画像の品質を向上させる。
• 変換中に人物埋め込み間の相対的類似性を保持するための対照学習目的関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン変換中にサンプル間の関係一貫性を強制することで、教師なし人物再識別性能が向上するか？
• RQ2 オープンセット再識別において、関係一貫性を持つ翻訳は、標準的な翻訳または疑似ラベルベースラインと比較してどのように優れているか？
• RQ3 関係一貫性正則化を用いたオンラインでエンドツーエンドの学習は、変換とエンコーダーを別々に学習するのと比べて、より良い一般化性能を達成するか？
• RQ4 提案手法は、アイデンティティに依存しない人物再識別におけるドメインシフトをどの程度軽減できるか？
• RQ5 アイデンティティの重複がない状況でも、複数のUDA再識別ベンチマークで最先端の結果を達成できるか？

主な発見

• 提案手法は、複数の教師なし人物再識別ベンチマークで、既存の最先端手法を上回った。
• 関係一貫性正則化の導入により、ターゲットドメインにおけるより信頼性が高く判別力のある疑似ラベルが得られた。
• 提案された正則化を用いて、特徴エンコーダーと変換モジュールを同時に最適化することで、モデルの一般化性能が向上した。
• Market-1501、DukeMTMC-reID、MSMT17 といった標準的なUDA再識別ベンチマークで顕著な性能向上が達成された。
• アブレーションスタディにより、関係一貫性正則化が翻訳品質および下流の再識別精度の向上に不可欠であることが確認された。
• 本フレームワークは、オープンセット再識別における多様なドメインシフトのシナリオにおいて、強力なロバスト性を示した。