[論文レビュー] Bridging the Source-to-target Gap for Cross-domain Person Re-Identification with Intermediate Domains

Yongxing Dai, Yifan Sun+4 more|arXiv (Cornell University)|Mar 3, 2022

Video Surveillance and Tracking Methods被引用数 11

ひとこと要約

本稿では、中間ドメインを導入することでソースドメインからターゲットドメインへのドメインギャップを緩和する、新しいクロスドメイン人間再識別手法IDM++を提案する。特徴量の混合によって中間ドメインを生成し、ミラー生成モジュールを用いて元のアイデンティティを保持することで、IDM++は最先端の性能を達成し、無教師ドメイン適応（UDA）設定下でMSMT17で最大9.9%のランク1精度向上を達成した。

ABSTRACT

Cross-domain person re-identification (re-ID), such as unsupervised domain adaptive (UDA) re-ID, aims to transfer the identity-discriminative knowledge from the source to the target domain. Existing methods commonly consider the source and target domains are isolated from each other, i.e., no intermediate status is modeled between both domains. Directly transferring the knowledge between two isolated domains can be very difficult, especially when the domain gap is large. From a novel perspective, we assume these two domains are not completely isolated, but can be connected through intermediate domains. Instead of directly aligning the source and target domains against each other, we propose to align the source and target domains against their intermediate domains for a smooth knowledge transfer. To discover and utilize these intermediate domains, we propose an Intermediate Domain Module (IDM) and a Mirrors Generation Module (MGM). IDM has two functions: 1) it generates multiple intermediate domains by mixing the hidden-layer features from source and target domains and 2) it dynamically reduces the domain gap between the source / target domain features and the intermediate domain features. While IDM achieves good domain alignment, it introduces a side effect, i.e., the mix-up operation may mix the identities into a new identity and lose the original identities. To compensate this, MGM is introduced by mapping the features into the IDM-generated intermediate domains without changing their original identity. It allows to focus on minimizing domain variations to promote the alignment between the source / target domain and intermediate domains, which reinforces IDM into IDM++. We extensively evaluate our method under both the UDA and domain generalization (DG) scenarios and observe that IDM++ yields consistent performance improvement for cross-domain re-ID, achieving new state of the art.

研究の動機と目的

• 大規模なドメインギャップが生じるクロスドメイン人間再識別における課題に取り組むこと、特に無教師ドメイン適応（UDA）およびドメイン一般化（DG）設定下での課題に焦点を当てる。
• ドメインが独立しており類似性が低い場合に、直接的なソースからターゲットへのドメイン統合が困難であるという限界を克服すること。
• 中間ドメインを導入することで、ソースドメインとターゲットドメインの間の連続的経路をモデル化すること。
• ドメイン統合中にアイデンティティ情報を保持すること、これは特徴量の混合処理でしばしば失われる。
• 異なるバックボーンやベンチマークデータセットにおいて一貫した性能向上を達成すること、特に大規模かつ困難なデータセット（MSMT17など）で顕著な向上を示すこと。

提案手法

• ソースドメインとターゲットドメインの隠れ層特徴量を混合することで複数の中間ドメインを生成する中間ドメインモジュール（IDM）を提案する。
• IDMに動的ドメインギャップ低減機構を導入し、ソース/ターゲット特徴量と中間ドメイン特徴量の差を最小化する。
• 元のソースおよびターゲットのアイデンティティを中間ドメインにマッピングするが、そのアイデンティティラベルを変更しないミラー生成モジュール（MGM）を導入する。
• 元のサンプルとそのMGMによって生成されたミラーの間の特徴量類似性を強制するためのクロスドメイン一貫性損失を用いる。
• IDMとMGMを統合したフレームワーク、IDM++を構築し、ドメイン統合とアイデンティティ保持の相互強化を実現する。
• 標準的な再識別バックボーンへの最小限のアーキテクチャ変更で、UDAおよびDG設定の両方でエンドツーエンドに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインとターゲットドメインの間に中間ドメインをモデル化することで、クロスドメイン人間再識別における知識移転が向上するか？
• RQ2 既存手法と比較して、中間ドメインを介したソース・ターゲットドメインの統合により、直接的なドメイン統合の難易度が低下するか？
• RQ3 中間ドメイン生成における特徴量の混合処理において、アイデンティティ情報が保持可能か？ その実現方法は何か？
• RQ4 提案されたIDM++フレームワークは、無教師ドメイン適応およびドメイン一般化の両設定下で、最先端手法と比較してどのように優れているか？
• RQ5 中間ドメインの使用が、ターゲットドメインにおけるクラスタリング品質および特徴量の判別性をどの程度向上させるか？

主な発見

• IDM++は、挑戦的なMSMT17ベンチマークで新たなSOTAを達成し、無教師ドメイン適応設定下で、従来のSOTAを最大9.9%上回るランク1精度を達成した。
• ドメイン一般化設定下では、MSMT17で従来のSOTAを最大7.8%上回るランク1精度を達成した。
• 異なるバックボーンネットワークにおいて一貫した性能向上を示し、特に最大で最も困難なMSMT17データセットで顕著な向上を示した。
• BCubed FスコアおよびNMIで測定した疑似ラベルの品質は、ベースラインやIDM単体と比較して顕著に高く、ラベルノイズが低減していることを示した。
• 可視化により、IDM++が中間ドメインを介してソースドメインとターゲットドメインの分布を効果的に統合していることが確認され、ソース/中間およびターゲット/中間ペア間の距離分布に最小限の差異が生じていることが示された。
• MGMモジュールは、元のサンプルとそのミラーの間で特徴量分布がよく一致しており、アイデンティティに特化した特徴量分布が効果的に保持されていることが確認された。