[論文レビュー] Unsupervised Lifelong Person Re-identification via Contrastive Rehearsal

Hao Chen, Benoit Lagadec+1 more|arXiv (Cornell University)|Mar 12, 2022

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本稿では、継続的で自己教師ありドメイン適応を可能にし、深刻な忘却を回避する、新しい生涯人物再識別手法であるUnsupervised Contrastive Rehearsal (UCR) を提案する。対照的に、以前に保存した少数の古いサンプルを再提示し、古いモデルと新しいモデル間の画像対画像類似性の一貫性を保証することで、UCRは、見たことのあるドメインおよび見未曾なドメインの両方で強力な一般化性能を達成し、ゼロショットおよびドメイン内一般化の両設定で先行手法を上回る性能を発揮する。

ABSTRACT

Existing unsupervised person re-identification (ReID) methods focus on adapting a model trained on a source domain to a fixed target domain. However, an adapted ReID model usually only works well on a certain target domain, but can hardly memorize the source domain knowledge and generalize to upcoming unseen data. In this paper, we propose unsupervised lifelong person ReID, which focuses on continuously conducting unsupervised domain adaptation on new domains without forgetting the knowledge learnt from old domains. To tackle unsupervised lifelong ReID, we conduct a contrastive rehearsal on a small number of stored old samples while sequentially adapting to new domains. We further set an image-to-image similarity constraint between old and new models to regularize the model updates in a way that suits old knowledge. We sequentially train our model on several large-scale datasets in an unsupervised manner and test it on all seen domains as well as several unseen domains to validate the generalizability of our method. Our proposed unsupervised lifelong method achieves strong generalizability, which significantly outperforms previous lifelong methods on both seen and unseen domains. Code will be made available at https://github.com/chenhao2345/UCR.

研究の動機と目的

• 自己教師あり人物再識別における継続的学習の欠如に起因する、新しいドメインに適応する際の旧知識の消失問題を解決すること。
• 人為的アノテーションなしに、新規のラベルなしデータから段階的に学習できる実用的な生涯再識別フレームワークの開発。
• 対照的再提示による旧知識の保存により、自己教師ありドメイン適応における深刻な忘却を緩和すること。
• 統一的でスケーラブルな訓練手順により、見たことのあるドメインおよび見未曾なドメインの両方における一般化性能の向上。

提案手法

• 対照的再提示メカニズムにより、長期間メモリバッファに、以前のドメインから抽出した代表的な画像とそのクラスタープロトタイプを保存する。
• 旧ドメインのサンプルに対して疑似ラベルを生成し、対照的学習を適用することで、ドメインシフトにかかわらず、旧サンプルがその疑似正例ペアよりも疑似負例に対して近くなるように保証する。
• 凍結された旧モデルと現在のモデルが計算する旧サンプルの画像対画像表現の間で類似性制約を課し、旧知識の保持を促進する更新プロセスを正則化する。
• 二重損失を用いる：保存済みの旧サンプルに対する再提示損失と、旧モデルと新モデルの予測の間の類似性一貫性損失。
• 複数の大型スケールデータセットを順次的に自己教師ありで訓練することで、現実の段階的データ到着を模擬する。
• メモリ更新では、各クラスタープロトタイプに最も近いK枚の画像を選択することで、疑似ラベルのノイズを低減し、信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 新データに対して人為的アノテーションなしに、自己教師あり生涯人物再識別を効果的に実現できるか？
• RQ2 自己教師ありドメイン適応における継続的学習の過程で、深刻な忘却をどのように緩和できるか？
• RQ3 旧サンプルの対照的再提示が、ドメイン間での知識保持に果たす役割は何か？
• RQ4 旧モデルと新モデル間の表現の一貫性を強制することで、一般化性能がどのように向上するか？
• RQ5 本手法は、見未曾なドメインに対しても、見未曾なドメインに対しても同様に一般化できるか？

主な発見

• UCRは、見未曾なドメインで59.3%のmAPと75.9%のR1を達成し、AKA(SL) や C$^2$L(SL) といった先行手法を顕著に上回る性能を発揮する。
• 見未曾なドメインでは、58.3%のmAPと55.9%のR1を達成し、強力なゼロショット一般化能力を示す。
• 1人あたりのメモリサイズ（K$_{mem}$）を増やすことで性能が向上し、K$_{mem}$=8が全指標で最良の結果をもたらす。
• 訓練順序に強く依存せず、最大のドメイン（MSMT17）を最初に訓練しても、依然として優れた性能を維持する。
• クラスタープロトタイプに最も近い画像を選択してメモリに保存することで、遠く離れたものやランダム選択よりも優れた性能が得られる。
• 感度分析の結果、最適なハイパーパrameterは τ$_s$=0.2 および λ$_{sim}$=20 であることが判明した。