[論文レビュー] IDM: An Intermediate Domain Module for Domain Adaptive Person Re-ID

Yongxing Dai, Jun Liu+4 more|arXiv (Cornell University)|Aug 5, 2021

Video Surveillance and Tracking Methods参考文献 66被引用数 7

ひとこと要約

本稿では、教師なしドメイン適応型人物再識別（UDA Re-ID）のための中間ドメインモジュール（IDM）を提案する。IDMは、学習可能なドメイン要因を用いてソースドメインとターゲットドメインの特徴を混合することで、リアルタイムに中間ドメイン表現を生成する。ブリッジ損失と多様性損失を適用することで、中間ドメインがドメイン間の最短測地線路上に位置することを保証し、MSMT17で7.7%のmAP向上を達成する最先端の性能を実現する。

ABSTRACT

Unsupervised domain adaptive person re-identification (UDA re-ID) aims at transferring the labeled source domain's knowledge to improve the model's discriminability on the unlabeled target domain. From a novel perspective, we argue that the bridging between the source and target domains can be utilized to tackle the UDA re-ID task, and we focus on explicitly modeling appropriate intermediate domains to characterize this bridging. Specifically, we propose an Intermediate Domain Module (IDM) to generate intermediate domains' representations on-the-fly by mixing the source and target domains' hidden representations using two domain factors. Based on the "shortest geodesic path" definition, i.e., the intermediate domains along the shortest geodesic path between the two extreme domains can play a better bridging role, we propose two properties that these intermediate domains should satisfy. To ensure these two properties to better characterize appropriate intermediate domains, we enforce the bridge losses on intermediate domains' prediction space and feature space, and enforce a diversity loss on the two domain factors. The bridge losses aim at guiding the distribution of appropriate intermediate domains to keep the right distance to the source and target domains. The diversity loss serves as a regularization to prevent the generated intermediate domains from being over-fitting to either of the source and target domains. Our proposed method outperforms the state-of-the-arts by a large margin in all the common UDA re-ID tasks, and the mAP gain is up to 7.7% on the challenging MSMT17 benchmark. Code is available at https://github.com/SikaStar/IDM.

研究の動機と目的

• 教師なしドメイン適応型人物再識別（UDA Re-ID）における大きなドメインシフトの課題に対処すること。この場合、ソースドメインとターゲットドメインにはラベルの重複がない。
• 知識の滑らかな移行を可能にするために、中間ドメインをソースドメインとターゲットドメインのブリッジとして明示的にモデル化すること。
• ソース分布とターゲット分布の間の最短測地線ルート上に位置する表現を学習することで、ラベルなしのターゲットドメインにおけるモデルの判別力を向上させること。
• ドメイン要因の多様性を強制することで、一方のドメインに過剰適合することを防ぐこと。

提案手法

• IDMモジュールは、ソースドメインとターゲットドメインの隠れ特徴を2つの学習可能なドメイン要因を用いて混合することで、中間ドメイン表現を生成する。
• ドメイン要因は、多様体空間におけるソースドメインとターゲットドメイン間の最短測地線ルート上に中間表現が位置するように最適化される。
• 予測空間および特徴空間にブリッジ損失を適用し、ソースドメインおよびターゲットドメインからの適切な距離を維持する。
• ドメイン要因に多様性損失を導入することで、一方の極端なドメインに収束するのを防ぎ、バランスの取れた適応を促進する。
• IDMはプラグアンドプレイであり、深層ネットワークの任意の隠れ層に挿入可能で、共同学習が可能である。
• 標準のRe-ID損失に加え、ドメインブリッジと多様性のための補助損失を用いて、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 明示的に中間ドメインをモデル化することで、教師なしドメイン適応型人物再識別における知識移行が向上するか？
• RQ2 多様体空間において、ソースドメインとターゲットドメインを効果的にブリッジするための、中間ドメインが満たすべき性質は何か？
• RQ3 中間ドメイン表現は、どのように生成され、ソースドメインとターゲットドメインの間の最短測地線ルート上に制約されるか？
• RQ4 ドメイン要因の多様性正則化は、適応中に一方のドメインに過剰適合することを防げるか？
• RQ5 リアルタイムでの中間ドメイン生成は、複数のUDA Re-IDベンチマークで一貫した性能向上をもたらすか？

主な発見

• IDMは、合成から実世界へのUDA Re-ID設定において、挑戦的なMSMT17ベンチマークで、前回のSOTAより7.7%のmAP向上を達成した。
• PersonX-to-Market-1501ベンチマークでは、IDMは81.3%のmAPを達成し、2番目に良い手法（SpCL）を7.5ポイント上回った。
• Unreal-to-Market-1501設定では、IDMは83.2%のmAPを達成し、前回のSOTA（JVTC+）より5.0%の向上を示した。
• IDMは、すべての評価されたベンチマークで、実世界同士および合成から実世界へのUDA Re-IDタスクにおいて、すべてのベースラインを上回った。
• アブレーションスタディにより、ブリッジ損失と多様性損失の両方が最適性能に不可欠であることが確認され、いずれかのコンponentを除外するとmAPが著しく低下した。
• 本手法は、さまざまな学習スキームで有効であり、多様なドメインシフトのシナリオに良好に一般化する。