[論文レビュー] Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID

Yixiao Ge, Feng Zhu+3 more|arXiv (Cornell University)|Jun 4, 2020

Video Surveillance and Tracking Methods参考文献 68被引用数 342

ひとこと要約

この論文は、ソースクラスのセントロイド、ターゲットクラスタのセントロイド、そして未クラスタ化のターゲットインスタンスを共同で利用するハイブリッドメモリを用いた自己ペースト対照学習フレームワークを導入し、ドメイン適応型物体再識別を改善する。信頼性駆動の自己ペースト学習戦略を用いて学習ターゲットを洗練させる。

ABSTRACT

Domain adaptive object re-ID aims to transfer the learned knowledge from the labeled source domain to the unlabeled target domain to tackle the open-class re-identification problems. Although state-of-the-art pseudo-label-based methods have achieved great success, they did not make full use of all valuable information because of the domain gap and unsatisfying clustering performance. To solve these problems, we propose a novel self-paced contrastive learning framework with hybrid memory. The hybrid memory dynamically generates source-domain class-level, target-domain cluster-level and un-clustered instance-level supervisory signals for learning feature representations. Different from the conventional contrastive learning strategy, the proposed framework jointly distinguishes source-domain classes, and target-domain clusters and un-clustered instances. Most importantly, the proposed self-paced method gradually creates more reliable clusters to refine the hybrid memory and learning targets, and is shown to be the key to our outstanding performance. Our method outperforms state-of-the-arts on multiple domain adaptation tasks of object re-ID and even boosts the performance on the source domain without any extra annotations. Our generalized version on unsupervised object re-ID surpasses state-of-the-art algorithms by considerable 16.7% and 7.9% on Market-1501 and MSMT17 benchmarks.

研究の動機と目的

• 物体 re-IDのための教師なしドメイン適応を動機付け、ソースデータの活用不足とクラスタリングベースの pseudolabel におけるアウトライヤの問題に対処する。
• ソースクラス、ターゲットクラスタ、未クラスタ化インスタンスの信号をハイブリッドメモリで活用する統一的な対照学習フレームワークを提案する。
• クラスタリング信頼性基準を備えた自己ペースト型学習戦略を導入し、信頼できるターゲットクラスタを徐々に形成する。
• 本手法がドメイン間の性能を改善し、追加のアノテーションなしでソースドメインの性能を向上させることを示す。

提案手法

• ソースドメインのクラスセントロイド、ターゲットドメインのクラスタセントロイド、そしてターゲットドメインの未クラスタ化インスタンス特徴を格納するハイブリッドメモリを導入する。
• ソースクラス、ターゲットクラスタ、未クラスタ化インスタンスを独立したクラスとして扱う統一的な対照損失を定義する（Eq. 1）。
• モーメントを用いてセントロイドとインスタンス特徴を更新する動的・非パラメトリックメモリを使用する（Eq. 3 および Eq. 4）。
• 初期特徴からターゲットドメインのクラスタを初期化し、学習が進むにつれてクラスタを更新する（Eq. 2）。
• 独立性とコンパクト性を組み合わせた自己ペースト型クラスタ信頼性基準を適用し、信頼できるクラスタを保持し、信頼性の低いものを再分類する（Eq. 5, Eq. 6）。

実験結果

リサーチクエスチョン

• RQ1 ソースラベルとターゲットドメイン構造の両方を活用する統一的な対照的目的関数は、ドメイン適応型再識別を改善できるか。
• RQ2 クラス・クラスタ・インスタンスレベルの信号を捉えるハイブリッドメモリは、ドメイン間の特徴学習を向上させるか。
• RQ3 クラスタ信頼性に基づく自己ペースト戦略は、ノイズの多い疑似ラベルが学習を低下さるのを防げるか。
• RQ4 ターゲットの未クラスタ化インスタンスを活用することで、ターゲットドメインの性能だけでなくソースドメインの性能にもどの程度利益をもたらすか。

主な発見

• 本手法はプレーンなResNet-50バックボーンを用いた物体再識別の複数のドメイン適応タスクで最先端のUDA手法を上回り、最大で5.0%のmAP向上を達成。
• ラベル付きソースデータを用いない教師なし版は、Market-1501で16.7%のmAP、MSMT17で7.9%のmAPといった従来手法を大きく上回る。
• 未アノテーションのターゲットドメインデータと共に共同訓練することで、ソースドメインの性能を最大6.6%のmAP向上に寄与できる。
• ハイブリッドメモリと自己ペースト信頼性を備えた統一的対照学習は大幅なアブレーション効果を生み出し、アブレーション結果は、ソースクラス・ターゲットクラスタ・未クラスタ化インスタンス信号の含有と自己ペースト信頼性基準の重要性を示す。
• 本手法は人と車丼のre-IDにおいて、実データ対実データおよび合成データ対実データの両方で競合力あるまたは優れた性能を示す。