[論文レビュー] Structured Domain Adaptation with Online Relation Regularization for Unsupervised Person Re-ID

Yixiao Ge, Feng Zhu+4 more|arXiv (Cornell University)|Mar 14, 2020

Video Surveillance and Tracking Methods被引用数 10

ひとこと要約

本稿では、非教師付き人物再識別における構造的ドメイン適応フレームワークを提案し、画像間の特徴類似度を維持することでドメイン変換を改善するオンライン関係一貫性正則化を導入する。この手法は最先端の性能を達成し、VisDA-2020チャレンジで2位を獲得した。生成されたより一貫性があり、アイデンティティを保った翻訳画像は、偽ラベル学習を強化する。

ABSTRACT

Unsupervised domain adaptation (UDA) aims at adapting the model trained on a labeled source-domain dataset to an unlabeled target-domain dataset. The task of UDA on open-set person re-identification (re-ID) is even more challenging as the identities (classes) do not have overlap between the two domains. One major research direction was based on domain translation, which, however, has fallen out of favor in recent years due to inferior performance compared to pseudo-label-based methods. We argue that the domain translation has great potential on exploiting the valuable source-domain data but existing methods did not provide proper regularization on the translation process. Specifically, previous methods only focus on maintaining the identities of the translated images while ignoring the inter-sample relations during translation. To tackle the challenges, we propose an end-to-end structured domain adaptation framework with an online relation-consistency regularization term. During training, the person feature encoder is optimized to model inter-sample relations on-the-fly for supervising relation-consistency domain translation, which in turn, improves the encoder with informative translated images. The encoder can be further improved with pseudo labels, where the source-to-target translated images with ground-truth identities and target-domain images with pseudo identities are jointly used for training. In the experiments, our proposed framework is shown to achieve state-of-the-art performance on multiple UDA tasks of person re-ID. With the synthetic-to-real translated images from our structured domain-translation network, we achieved second place in the Visual Domain Adaptation Challenge (VisDA) in 2020.

研究の動機と目的

• ソースドメインとターゲットドメインにアイデンティティの重複がないオープンセットの人物再識別における非教師付きドメイン適応の課題に対処すること。
• アイデンティティベースの制約を超えて、潜在特徴空間におけるサンプル間の意味的関係を維持することで、ドメイン変換手法を改善すること。
• オンライン関係正則化を用いてドメイン変換ネットワークと再識別エンコーダーを共同最適化するエンドツーエンドフレームワークを開発すること。
• 偽ラベルに基づく学習を強化するため、より情報量が多くアイデンティティを保った翻訳画像を生成すること。
• 標準的なUDAベンチマークおよびVisDA-2020チャレンジにおいて汎用性と有効性を示すこと。

提案手法

• サンプル間の特徴関係を保持しながら、ソースドメインの画像をターゲットドメインのスタイルに変換する構造的ドメイン変換（SDT）ネットワークを導入。
• ソース画像とその翻訳対応物の特徴埋め込み間の類似性を維持するオンライン関係一貫性正則化項を採用。
• ソースドメイン用とターゲットドメイン用の二重エンコーダー構造を採用。ターゲットエンコーダーが翻訳中における動的関係監視を提供。
• 類似するサンプルが翻訳後の潜在空間でも近接するように促進する、コントラスト型の目的関数を用いて関係一貫性損失を適用。
• 教師付きラベル付きソース画像と偽ラベル付きターゲット画像の両方を用いて、ドメイン変換ネットワークと再識別エンコーダーを共同で学習。
• 二段階のトレーニングパイプラインを採用：まずエンコーダーを別々に事前学習し、その後オンライン関係正則化を用いたSDTネットワークを共同で学習。

実験結果

リサーチクエスチョン

• RQ1 ドメイン変換中にサンプル間の特徴関係を維持することで、非教師付き人物再識別性能が向上するか？
• RQ2 アイデンティティのみに依存する正則化と比較して、オンライン関係一貫性正則化はより意味的に一貫性のある翻訳画像を生成するか？
• RQ3 関係正則化を施した構造的ドメイン変換は、偽ラベルベースの再識別モデルのためのより効果的な学習サンプルを生成できるか？
• RQ4 本手法は、オープンセットUDAベンチマークにおいて、最先端の偽ラベルベースおよびドメイン変換ベースの手法と比較して優れているか？
• RQ5 本手法は、VisDA-2020の合成から実画像への適応タスクという現実世界の課題に対しても、どれほど汎用性を示すか？

主な発見

• 提案された構造的ドメイン適応とオンライン関係正則化により、SDTネットワークで生成された合成から実画像への変換画像を用いた場合、VisDA-2020の検証セットでmAP 71.2%を達成した。
• この性能は、SPGANで翻訳された画像を用いた場合（mAP 68.2%）に比べ顕著に優れており、関係一貫性正則化の有効性を示している。
• VisDA-2020チャレンジにおいて153チーム中2位を獲得し、実世界のドメインシフトに対しても本手法の頑健さと汎用性を確認した。
• 可視化結果から、SDTネットワークは、CycleGAN や SPGAN と比較して、同一アイデンティティのサンプル間で外観と関係性をより一貫して維持していることが示された。
• アブレーションスタディにより、SDTで生成された画像は、ベースラインの翻訳手法に比べ、照度やスタイルの変化に対してもより強い監視を提供することが確認された。
• オンライン関係正則化を用いた共同学習スキームにより、より安定的かつ情報量の多い特徴学習が実現され、ドメイン整合性とアイデンティティ識別性能の両方が向上した。