[論文レビュー] Learning to Adapt Invariance in Memory for Person Re-identification

Zhun Zhong, Liang Zheng+3 more|arXiv (Cornell University)|Aug 1, 2019

Video Surveillance and Tracking Methods参考文献 61被引用数 36

ひとこと要約

exemplar memory と Graph-based Positive Prediction (GPP) を介して exemplar-invariance、camera-invariance、neighborhood-invariance を強制し、ターゲットドメインの一般化を向上させる、個人再識別の教師なしドメイン適応フレームワークを提案する。

ABSTRACT

This work considers the problem of unsupervised domain adaptation in person re-identification (re-ID), which aims to transfer knowledge from the source domain to the target domain. Existing methods are primary to reduce the inter-domain shift between the domains, which however usually overlook the relations among target samples. This paper investigates into the intra-domain variations of the target domain and proposes a novel adaptation framework w.r.t. three types of underlying invariance, i.e., Exemplar-Invariance, Camera-Invariance, and Neighborhood-Invariance. Specifically, an exemplar memory is introduced to store features of samples, which can effectively and efficiently enforce the invariance constraints over the global dataset. We further present the Graph-based Positive Prediction (GPP) method to explore reliable neighbors for the target domain, which is built upon the memory and is trained on the source samples. Experiments demonstrate that 1) the three invariance properties are indispensable for effective domain adaptation, 2) the memory plays a key role in implementing invariance learning and improves the performance with limited extra computation cost, 3) GPP could facilitate the invariance learning and thus significantly improves the results, and 4) our approach produces new state-of-the-art adaptation accuracy on three re-ID large-scale benchmarks.

研究の動機と目的

• ターゲットド_DOMAIN内のドメイン内変動が、個人再識別の教師なしドメイン適応にどのような影響を与えるかを調査する。
• Exemplar-Invariance、Camera-Invariance、Neighborhood-Invariance の3つのターゲット不変性を導入し、その影響を評価する。
• 最小限の追加計算で、全訓練データにわたってこれらの不変性を適用するメモリベースのフレームワークを開発する。
• 不変学習のために正の近傍を信頼性高く識別する Graph-based Positive Prediction (GPP) モジュールを組み込む。

提案手法

• 共有特徴抽出器とドメイン固有の exemplar memories（source と target）を用いたデュアルブランチ訓練フレームワークを用いる。
• ターゲットブランチに3つの不変性損失を課す：exemplar-invariance（各ターゲット exemplar が自分のクラスに分類される）、camera-invariance（ターゲット画像と CamStyle のバリアントが同じクラスを共有する）、neighborhood-invariance（ターゲット画像が信頼できる近傍に向けて分類される）。
• 最新のターゲット特徴を保存し、グローバルで非バッチベースの不変学習を可能にする exemplar memory を導入する。
• top-k memory neighbor からグラフを構築し Graph Convolutional Networks を適用して正の近傍を予測することで近傍関係を洗練する Graph-based Positive Prediction (GPP) を提案する（source データで訓練し、target に適用）。
• source ドメインで GPP を訓練して正の近傍予測を学習し、ターゲットドメインに適用して NI 学習を支援するが、特徴抽出器への勾配伝播は行わない。
• CamStyle (CycleGAN/StarGAN) を利用してターゲット画像のカメラスタイル変種を生成し、CI をサポートする。

実験結果

リサーチクエスチョン

• RQ1 exemplar-, camera-, and neighborhood-invariance を組み込むことで、ドメイン間分布整合だけと比較して、個人再識別の教師なしドメイン適応を改善できるか？
• RQ2 exemplar memory は最小限の追加計算で、グローバル（ミニバッチではなく）な不変学習を効果的に可能にするか？
• RQ3 Graph-based Positive Prediction はターゲットドメイン適応における neighborhood-invariance 学習の信頼性を高めるか？
• RQ4 提案手法は、大規模 re-ID ベンチマーク（Market-1501、DukeMTMC-reID、MSMT17）で、最先端の UDA アプローチと比較してどのような性能を示すか？

主な発見

• 3つの不変性特性は、re-ID の効果的なドメイン適応に不可欠である。
• メモリベースの不変学習は、限られた追加計算とメモリで性能を大幅に向上させる。
• GPP は NI の正の近傍をより信頼できるものにして不変学習を改善し、ターゲットデータでの精度（特に mAP）を向上させる。
• この手法は3つの大規模 re-ID ベンチマーク（Market-1501、DukeMTMC-reID、MSMT17）で最先端の適応精度を達成している。