[論文レビュー] Self-training with progressive augmentation for unsupervised cross-domain person re-identification

Xinyu Zhang, Jiewei Cao+2 more|arXiv (Cornell University)|Jul 31, 2019

Video Surveillance and Tracking Methods参考文献 42被引用数 15

ひとこと要約

本稿では、自己学習フレームワークPASTを提案する。PASTは、非教師付きクロスドメイン人物再識別のための段階的増強を特徴とする。本手法は、擬似ラベル品質を向上させるために新しい順位ベースの三重損失関数を用いる保守的段階と、グローバルなデータ分布を活用するための学習可能な分類ヘッドを用いる促進的段階を交互に実行し、複数のベンチマークで最先端の性能を達成する。

ABSTRACT

Person re-identification (Re-ID) has achieved great improvement with deep learning and a large amount of labelled training data. However, it remains a challenging task for adapting a model trained in a source domain of labelled data to a target domain of only unlabelled data available. In this work, we develop a self-training method with progressive augmentation framework (PAST) to promote the model performance progressively on the target dataset. Specially, our PAST framework consists of two stages, namely, conservative stage and promoting stage. The conservative stage captures the local structure of target-domain data points with triplet-based loss functions, leading to improved feature representations. The promoting stage continuously optimizes the network by appending a changeable classification layer to the last layer of the model, enabling the use of global information about the data distribution. Importantly, we propose a new self-training strategy that progressively augments the model capability by adopting conservative and promoting stages alternately. Furthermore, to improve the reliability of selected triplet samples, we introduce a ranking-based triplet loss in the conservative stage, which is a label-free objective function basing on the similarities between data pairs. Experiments demonstrate that the proposed method achieves state-of-the-art person Re-ID performance under the unsupervised cross-domain setting. Code is available at: https://tinyurl.com/PASTReID

研究の動機と目的

• 教師ありソースドメインで学習したモデルが、ラベルなしのターゲットドメインで性能を発揮できないドメインシフト問題に対処すること。
• ドメインシフトのため擬似ラベル品質が低い初期学習段階で誤差拡大を低減すること。
• 擬似ラベルデータの信頼性を段階的に向上させることで、ターゲットドメインにおけるモデルの一般化性能を向上させること。
• 局所的（三重損失ベース）およびグローバル的（分類ベース）なデータ構造を交互に活用する自己学習フレームワークを構築し、より良い特徴学習を実現すること。
• クラスタリング品質に依存しないようにするため、ラベルフリーの順位ベースの三重損失関数を導入すること。

提案手法

• 保守的段階（局所構造学習）と促進的段階（グローバル分布学習）の2段階からなる自己学習フレームワークを導入する。
• 保守的段階では、擬似ラベルに依存せず、類似度順位に基づいて正例および負例を選択する新しい順位ベースの三重損失（RTL）を用いる。
• 促進的段階では、最終層を学習可能な分類ヘッドに置き換えることで、クラスタリングに基づく擬似ラベルを用いたグローバル最適化を可能にする。
• 保守的段階と促進的段階を交互に実行することで、モデルのロバスト性と表現品質を段階的に向上させる。
• クラスタの密度を制御しノイズを低減するために、最小サンプル数閾値（Smin）を用いたHDBSCANを用いる。
• ハイパーパrameter λ で重み付けされた順位ベースの三重損失（RTL）とクラスタリングベースの三重損失（CTL）の組み合わせを最適化する。

実験結果

リサーチクエスチョン

• RQ1 保守的段階と促進的段階を交互に実行する段階的自己学習戦略は、非教師付きクロスドメイン人物再識別におけるモデル一般化性能の向上に寄与するか？
• RQ2 擬似ラベルが信頼性の低い初期学習段階において、ラベルフリーの順位ベースの三重損失（RTL）は、従来のクラスタリングベースの三重損失（CTL）を上回るか？
• RQ3 学習可能な分類ヘッドを用いてグローバルなデータ分布を組み込むことで、三重損失に依存する場合と比較して、性能がどの程度向上するか？
• RQ4 損失重みλ や最小クラスタサイズ Smin などのハイパーパrameterに、性能がどの程度感度を示すか？
• RQ5 提案フレームワークは、複数のクロスドメインRe-IDベンチマークで最先端の性能を達成できるか？

主な発見

• PASTフレームワークは、M→Dベンチマークで72.35%のRank-1および54.26%のmAPを達成し、以前の最先端手法を大きく上回る。
• C→Dベンチマークでは、PASTが69.88%のRank-1および51.79%のmAPを達成し、保守的段階のみを用いた場合に比べ、Rank-1で4.71%、mAPで5.21%の向上を示した。
• RTLのみを用いた保守的段階では、M→Dで71.63%のRank-1および52.05%のmAPを達成し、EANetを3.93%（Rank-1）および4.05%（mAP）上回った。
• 最適な損失重みλは0.5であり、それより高い値や低い値に設定すると性能が低下するため、RTLとCTLの間には重要なトレードオフがあることが示された。
• Smin = 10に設定した場合が最も高い性能を示し、Market-1501における真の識別子数（751）に最も近い擬似識別子数（625）を達成した。これは、クラスタ品質と完全性のバランスを効果的にとれていることを確認した。
• 除去実験の結果、保守的段階と促進的段階を交互に実行することが不可欠であることが確認され、PASTフレームワーク全体は、いずれの段階を単独で用いた場合よりも顕著に優れた性能を示した。