[論文レビュー] Mutual Mean-Teaching: Pseudo Label Refinery for Unsupervised Domain Adaptation on Person Re-identification

Yixiao Ge, Dapeng Chen+1 more|arXiv (Cornell University)|Jan 6, 2020

Video Surveillance and Tracking Methods参考文献 50被引用数 394

ひとこと要約

本論文は、Mutual Mean-Teaching (MMT) を用いた人の再識別の教師なしドメイン適応フレームワークを提案し、二つのネットワークの相互指導構成を介してノイズの多い擬似ラベルをオンラインのソフトラベルとオフラインのハードラベルで精錬し、ソフトソフトマックス・トリプレット損失を用いる。

ABSTRACT

Person re-identification (re-ID) aims at identifying the same persons' images across different cameras. However, domain diversities between different datasets pose an evident challenge for adapting the re-ID model trained on one dataset to another one. State-of-the-art unsupervised domain adaptation methods for person re-ID transferred the learned knowledge from the source domain by optimizing with pseudo labels created by clustering algorithms on the target domain. Although they achieved state-of-the-art performances, the inevitable label noise caused by the clustering procedure was ignored. Such noisy pseudo labels substantially hinders the model's capability on further improving feature representations on the target domain. In order to mitigate the effects of noisy pseudo labels, we propose to softly refine the pseudo labels in the target domain by proposing an unsupervised framework, Mutual Mean-Teaching (MMT), to learn better features from the target domain via off-line refined hard pseudo labels and on-line refined soft pseudo labels in an alternative training manner. In addition, the common practice is to adopt both the classification loss and the triplet loss jointly for achieving optimal performances in person re-ID models. However, conventional triplet loss cannot work with softly refined labels. To solve this problem, a novel soft softmax-triplet loss is proposed to support learning with soft pseudo triplet labels for achieving the optimal domain adaptation performance. The proposed MMT framework achieves considerable improvements of 14.4%, 18.2%, 13.1% and 16.4% mAP on Market-to-Duke, Duke-to-Market, Market-to-MSMT and Duke-to-MSMT unsupervised domain adaptation tasks. Code is available at https://github.com/yxgeee/MMT.

研究の動機と目的

• クラスタリングベースの教師なしドメイン適応におけるラベルノイズの問題に対処する。
• オンラインのソフトラベルとオフラインのハードラベルを用いた擬似ラベルの精錬フレームワークを開発する。
• 新規の soft softmax-triplet loss を通じてソフトなトリプレットラベルでのトレーニングを可能にする。
• Mutual Mean-Teaching が標準的なドメイン適応ベンチマークで有意な利得をもたらすことを示す。

提案手法

• 二つの協調ネットワークと時間平均モデルを用いて、もう一方のネットワークに信頼できるソフト擬似ラベルを生成する。
• ターゲットドメインの擬似ラベルを、オフラインのハード擬似ラベルとオンラインのソフト擬似ラベルを交互の訓練プロセスで精錬する。
• ソフトなソフトマックス・トリプレット損失を導入して、ソフトな擬似トリプレットラベルでの学習を可能にする。
• ソフト分類損失とソフトソフトマックス・トリプレット損失を共同最適化（二ネットワークで）して組み合わせ、推論時には最良の平均モデルを選択する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインの擬似ラベルを相互教師-生徒フレームワークで精錬することは、人物再識別の教師なしドメイン適応を改善するか。
• RQ2 soft softmax-triplet loss は柔らかく精錬されたトリプレットラベルでの効果的な学習を可能にするか。
• RQ3 MMT は標準的な re-ID ベンチマーク上で、最新のクラスタリングベース UDA 手法と比較してどの程度の性能向上をもたらすか。

主な発見

• MMT は Market-to-Duke、Duke-to-Market、Market-to-MSMT、Duke-to-MSMT の4つのドメイン適応タスク全体で従来のクラスタリングベース UDA 手法を大きく上回る改善を達成する。
• フレームワークは、4つのタスクにおける平均的な mAP 増加をそれぞれ abstract で 14.4%、18.2%、13.4%、16.4% として一貫して報告する。
• 二つの時刻的に平均化されたネットワークを使用してソフト擬似ラベルを生成することにより、ラベルノイズの影響を緩和し訓練を安定化させる。
• 提案された soft softmax-triplet loss はソフトなトリプレットラベルでの学習を効果的に可能にし、識別的特徴学習の改善に寄与する。
• MMT はターゲットドメインのアノテーションや後処理（リランキングなど）なしで、いくつかのタスクで完全に監視付きレベルの性能に近づく。