[論文レビュー] Asymmetric Co-Teaching for Unsupervised Cross Domain Person Re-Identification

Fengxiang Yang, Ke Li+8 more|arXiv (Cornell University)|Dec 3, 2019

Video Surveillance and Tracking Methods参考文献 31被引用数 13

ひとこと要約

本稿では、不均衡なラベルの影響を軽減するための新しいフレームワークである非対称コ・ティーチング（ACT）を提案する。この手法は、多様なインライヤーとアウトライヤーを学習するモデルと、純粋なインライヤーのみを学習するモデルの2つの非対称なモデルを用い、ノイズの多い疑似ラベルに対する耐性を高める。ACTは反復的にクリーンで多様な学習サンプルを改善することで、Duke-to-MarketおよびMarket-to-Dukeベンチマークでそれぞれ60.6%および54.5%のSOTA mAPを達成した。

ABSTRACT

Person re-identification (re-ID), is a challenging task due to the high variance within identity samples and imaging conditions. Although recent advances in deep learning have achieved remarkable accuracy in settled scenes, i.e., source domain, few works can generalize well on the unseen target domain. One popular solution is assigning unlabeled target images with pseudo labels by clustering, and then retraining the model. However, clustering methods tend to introduce noisy labels and discard low confidence samples as outliers, which may hinder the retraining process and thus limit the generalization ability. In this study, we argue that by explicitly adding a sample filtering procedure after the clustering, the mined examples can be much more efficiently used. To this end, we design an asymmetric co-teaching framework, which resists noisy labels by cooperating two models to select data with possibly clean labels for each other. Meanwhile, one of the models receives samples as pure as possible, while the other takes in samples as diverse as possible. This procedure encourages that the selected training samples can be both clean and miscellaneous, and that the two models can promote each other iteratively. Extensive experiments show that the proposed framework can consistently benefit most clustering-based methods, and boost the state-of-the-art adaptation accuracy. Our code is available at https://github.com/FlyingRoastDuck/ACT_AAAI20.

研究の動機と目的

• クラスタリングに基づく不均一なドメイン適応におけるノイズの多い疑似ラベルと低信頼度サンプルの棄却問題に対処すること。
• 対称的なコ・ティーチングの限界を克服し、高い学習損失を示す困難で低信頼度のサンプルを無視する問題を解消すること。
• 非対称なデータフローにより、アウトライヤーとインライヤーを明示的にフィルタリング・再利用することで、モデルの汎化性能を向上させること。
• クリーンで多様な学習データを用いた反復的相互促進により、両モデルの判別能力を強化すること。

提案手法

• 事前学習済みのソースモデルをターゲットの疑似ラベルでファインチューニングし、その結果を基に2つのモデル（メインモデルと協力モデル）を初期化する。
• クラスタリング（例：DBSCAN または k-means に外れ値しきい値を適用）を用いて、ターゲットサンプルをインライヤー（高信頼度クラスタ）とアウトライヤー（低信頼度・高分散サンプル）に分類する。
• メインモデルはすべてのインライヤーとアウトライヤーで学習し、多様性を最大化する。一方、協力モデルは損失値が小さいインライヤーのみで学習し、純粋性を保証する。
• コ・ティーチングの過程で、各モデルは相手の出力から最小損失を持つサンプルを選択し、相互に改善し、ノイズに強い学習を実現する。
• 反復的にクリスタリングの質とモデル性能を向上させるために、よりクリーンで代表的なサンプルを再学習に用いる。
• k-means や DBSCAN などの複数のクラスタリング手法と互換性を持たせるために、外れ値をクラスタ中心からの距離が最も遠いサンプルとして定義する。

実験結果

リサーチクエスチョン

• RQ1 非対称なコ・ティーチングは、人物再識別におけるクラスタリングに基づく不均一なドメイン適応の耐性を向上させることができるか？
• RQ2 ノイズに強い学習と組み合わせた場合、低信頼度（外れ値）サンプルの取り入れがモデルの汎化性能に与える影響は何か？
• RQ3 1つのモデルに多様な入力、もう1つのモデルに純粋な入力という非対称なデータフローは、対称的なコ・ティーチングに比べてより優れた性能を発揮するか？
• RQ4 k-means や DBSCAN などの異なるクラスタリングアルゴリズムと、提案手法のフレームワークはどの程度互換性を持つのか？
• RQ5 疑似ラベルとモデル重みの反復的改善は、mAP およびランク-1精度に一貫した向上をもたらすか？

主な発見

• ACTは、Duke-to-Marketで60.6%、Market-to-Dukeで54.5%の新しいSOTA mAPを達成し、ベースラインのクラスタリング手法を上回った。
• 外れ値として最も遠い20%および30%のサンプルを採用した場合、vanilla k-meansベースの適応手法に比べてmAPがそれぞれ3.3%および3.1%向上した。
• クラスタリング品質のFスコアが反復ごとに向上し、クラスタの判別性とモデルの汎化性能が向上していることが示された。
• トレーニングの進行に伴い外れ値の数が減少した。これは、モデルが困難なサンプルをより適切に割り当て・フィルタリングするよう学習していることを裏付けた。
• 協力モデルは常にメインモデルより低い性能を示した。これは、純粋で低損失のサンプルから学習するという役割が正当化されていることを確認した。
• 異なるクラスタリング手法に対してもACTは一貫した向上を示し、高い互換性と汎化性能を示した。