[論文レビュー] Unsupervised Multi-Source Domain Adaptation for Person Re-Identification

Zechen Bai, Zhigang Wang+3 more|arXiv (Cornell University)|Apr 27, 2021

Video Surveillance and Tracking Methods参考文献 42被引用数 8

ひとこと要約

本稿では、2つの補完的モジュールを導入することで、人物再識別における非教師ありマルチソースドメイン適応フレームワークを提案する。1つはドメイン固有の特徴を低減し、アイデンティティの判別能を向上させるために、補正ドメイン固有バッチ正則化（RDSBN）を導入し、もう1つはドメインギャップを最小化するために、グラフ畳み込みネットワーク（GCN）に基づくマルチドメイン情報統合（MDIF）モジュールを提案する。本手法は、後処理を施さずに教師ありベースラインに近い最先端の性能を達成している。

ABSTRACT

Unsupervised domain adaptation (UDA) methods for person re-identification (re-ID) aim at transferring re-ID knowledge from labeled source data to unlabeled target data. Although achieving great success, most of them only use limited data from a single-source domain for model pre-training, making the rich labeled data insufficiently exploited. To make full use of the valuable labeled data, we introduce the multi-source concept into UDA person re-ID field, where multiple source datasets are used during training. However, because of domain gaps, simply combining different datasets only brings limited improvement. In this paper, we try to address this problem from two perspectives, \ie{} domain-specific view and domain-fusion view. Two constructive modules are proposed, and they are compatible with each other. First, a rectification domain-specific batch normalization (RDSBN) module is explored to simultaneously reduce domain-specific characteristics and increase the distinctiveness of person features. Second, a graph convolutional network (GCN) based multi-domain information fusion (MDIF) module is developed, which minimizes domain distances by fusing features of different domains. The proposed method outperforms state-of-the-art UDA person re-ID methods by a large margin, and even achieves comparable performance to the supervised approaches without any post-processing techniques.

研究の動機と目的

• 複数のソースデータセットから得られる豊富なラベル付きデータが、非教師あり人物再識別で十分に活用されていない問題に対処すること。
• 照明、カメラ画角、色など特性が異なる複数のソースドメインを統合する際のドメインギャップによって引き起こされる性能低下を軽減すること。
• ドメイン固有の特徴を同時に低減し、複数ドメインの特徴を効果的に統合することで、一般化性能を向上させる手法を開発すること。
• ドメイン間でアイデンティティが重複しない細粒度でオープンセットな再識別設定において、効果的な非教師ありドメイン適応を可能にすること。
• ドメイン固有の視点とドメイン統合の視点を組み合わせることで、従来の単一視点アプローチを上回る性能を達成できることを示すこと。

提案手法

• ドメインごとに個別のバッチ正則化（BN）ブランチを用い、インスタンスごとに適応的にBNパラメータを調整する補正ドメイン固有バッチ正則化（RDSBN）を導入することで、ドメイン固有の特徴を抑制し、アイデンティティ関連の表現を強化する。
• ドメインエージェントノードをモデル化し、グローバルなドメインレベル特徴を表現するとともに、インスタンスとドメインエージェントノード間の情報伝達を可能にする、グラフ畳み込みネットワーク（GCN）に基づくマルチドメイン情報統合（MDIF）モジュールを提案する。
• 2段階のトレーニングパイプラインを採用：複数のラベル付きソースデータセットでの事前学習と、疑似ラベルを用いた非ラベル付きターゲットデータでの反復的ファインチューニングであり、両段階でRDSBNおよびMDIFモジュールを同時に有効化する。
• ドメインエージェントノードは、同じドメインからの特徴を重み付き平均で集約し、より代表的または一貫性のある特徴を強調する学習可能な注意重みを備える。
• GCNアーキテクチャを設計する際、最初の層ではイントラ接続を省略することで過剰なスムージングを回避し、インスタンスレベルの詳細を保持するとともに、インタードメイン接続によってドメイン整合性を促進する。
• 推論時、ドメインエージェントノードはトレーニング中の移動平均統計を用いて実装され、追加の計算コストが発生しない。

実験結果

リサーチクエスチョン

• RQ1 複数のラベル付きソースデータセットを非教師ありドメイン適応で統合することで、単一ソースベースラインを上回る人物再識別性能を達成できるか？
• RQ2 細粒度でオープンセットな再識別設定において、ドメイン固有の特徴を効果的に低減しつつ、アイデンティティの判別能を維持または向上させることは可能か？
• RQ3 グラフ畳み込みネットワークを効果的に応用することで、人物再識別におけるマルチドメイン特徴統合をモデル化し、ドメイン間の分布ギャップを低減できるか？
• RQ4 提案されたRDSBNモジュールは、標準的なドメイン固有バッチ正則化よりも、複数のソース間でのドメインシフトを効果的に処理できるか？
• RQ5 RDSBNとMDIFモジュールはどのように相互作用し、それぞれ単独で使用する場合よりも組み合わせた場合に効果的か？

主な発見

• 提案手法は、Market+CUHK → Dukeベンチマークで65.0%のmAPと79.1%のrank-1精度を達成し、ベースラインをmAPで6.7ポイント、rank-1で6.3ポイント上回った。
• RDSBNモジュール単体でも、組み合わせたMarket+Duke+CUHK03データセット上で、DSBNと比較してクラス間距離を12.4%向上させ、クラス内分散を18.3%低減した。これは、より強い特徴の判別能を示している。
• MDIFモジュールは、ResNet50に適用した場合、ベースライン比でmAPで4.4%、rank-1で4.1%向上した。RDSBNと組み合わせた場合でも、mAPで1.5%、rank-1で1.8%の向上を示した。
• MMTフレームワークでは、提案手法はMarket+CUHK → Dukeで69.0%のmAPと81.2%のrank-1精度を達成し、ベースライン比でmAPで9.9%、rank-1で4.6%向上した。
• MDIFの「重み付き平均エージェントノード」バリアントは、他の設計バリエーションを常に上回り、注意に基づくドメインレベル特徴集約の有効性を確認した。
• アブレーションスタディの結果、RDSBNとMDIFは補完的であることが確認された。両者の組み合わせが最良の性能を示し、ドメイン固有とドメイン統合の視点が併用されることで適応性能が向上することを示した。