[論文レビュー] Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification

Zhun Zhong, Liang Zheng+3 more|arXiv (Cornell University)|Apr 3, 2019

Video Surveillance and Tracking Methods参考文献 37被引用数 55

ひとこと要約

本論文は exemplar memory と三つの target-domain invariances（exemplar-, camera-, neighborhood-invariance）を提案し、無教師ありドメイン適応の再識別で Market-1501、DukeMTMC-reID、MSMT17 において最先端の結果を達成する。

ABSTRACT

This paper considers the domain adaptive person re-identification (re-ID) problem: learning a re-ID model from a labeled source domain and an unlabeled target domain. Conventional methods are mainly to reduce feature distribution gap between the source and target domains. However, these studies largely neglect the intra-domain variations in the target domain, which contain critical factors influencing the testing performance on the target domain. In this work, we comprehensively investigate into the intra-domain variations of the target domain and propose to generalize the re-ID model w.r.t three types of the underlying invariance, i.e., exemplar-invariance, camera-invariance and neighborhood-invariance. To achieve this goal, an exemplar memory is introduced to store features of the target domain and accommodate the three invariance properties. The memory allows us to enforce the invariance constraints over global training batch without significantly increasing computation cost. Experiment demonstrates that the three invariance properties and the proposed memory are indispensable towards an effective domain adaptation system. Results on three re-ID domains show that our domain adaptation accuracy outperforms the state of the art by a large margin. Code is available at: https://github.com/zhunzhong07/ECN

研究の動機と目的

• 先行手法で見落とされているターゲット内ドメインの変動を解決し、ドメイン適応型人物再識別を動機づける。
• ターゲットドメイン上で表現を一般化するため、exemplar-、camera-、neighborhood-invariance の三つの不変性を提案する。
• 低い計算オーバーヘッドで全体ターゲット集合に対する不変性制約を課す exemplar memory モジュールを導入する。
• 複数の大規模データセットにわたって、最先端のUDA手法に対する実質的な利得を実証する。

提案手法

• 特徴抽出のために ResNet-50 バックボーンと 4096 次元の全結合層（FC-4096）を使用。
• ソースデータに対してクロスエントロピー損失を用いた教師あり分類器を維持。
• 最新のターゲット特徴を格納する exemplar memory（キー K、値 V）を導入；訓練中に K を更新し正規化。
• exemplar-invariance を、各ターゲット画像をそれ自身のクラスとして扱い、自身の exemplar との類似性を最大化して実現。
• camera-invariance を CamStyle 変換画像を用いて同一識別子のサンプル間でカメラスタイルをまたいで引く（p(i|x̂_t,i) を介して）。
• neighborhood-invariance を memory の k 最近傍へ exemplar を引き寄せる（近傍でのソフトラベル損失）。
• 損失を最終目的 L = (1-λ)L_src + λL_tgt に統合し、L_tgt は exemplar-, camera-, neighborhood-invariance 損失を統合する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット領域内のクラス間/同一領域内の変動をどのように活用して無教師ありドメイン適応の人物再識別を改善できるか？
• RQ2 exemplar-, camera-, neighborhood-invariance は従来のクロスドメイン整列手法より転移性を collectively 改善するか？
• RQ3 exemplar memory メカニズムは訓練中にグローバルなターゲット領域の不変性を効率的に強制できるか？
• RQ4 提案された不変性は多様な re-ID データセットでどの程度性能を向上させるか？

主な発見

• exemplar-invariance、camera-invariance、および neighborhood-invariance は、ソースのみのベースラインよりクロスドメイン re-ID の性能を改善する。
• exemplar memory は追加の計算/メモリ（約260 MB）でグローバルなターゲットサンプル関係モデリングを可能にする。
• camera-invariance の追加で大きな利得が得られる（例：Duke をソース、Market をターゲットとする場合、rank-1 が 63.1% から 75.1% に）。
• Neighborhood-invariance は exemplar- および camera-invariance と組み合わせるとさらに利得を得る（例：Duke→Market で E+C+N の場合 rank-1 が 75.1%）。
• ECN は Market-1501、DukeMTMC-reID、MSMT17 で最先端の無監督ドメイン適応結果を達成し、従来手法より顕著なマージンで上回る。