[論文レビュー] Dual-Refinement: Joint Label and Feature Refinement for Unsupervised Domain Adaptive Person Re-Identification

Yongxing Dai, Jun Liu+3 more|arXiv (Cornell University)|Dec 26, 2020

Video Surveillance and Tracking Methods参考文献 102被引用数 102

ひとこと要約

本稿では、オフラインクラスタリングにおける疑似ラベルの共同精錬とオンライン学習における特徴量の共同精錬を実現する、人物再識別における非教師ありドメイン適応のための新規手法Dual-Refinementを提案する。階層的クラスタリングと代表的プロトタイプを導入し、インスタントメモリの広がり正則化を組み合わせることで、ノイズラベルの影響を低減し、特徴量の識別性を向上させ、標準ベンチマークで最小限の計算コストで最先端の性能を達成する。

ABSTRACT

Unsupervised domain adaptive (UDA) person re-identification (re-ID) is a challenging task due to the missing of labels for the target domain data. To handle this problem, some recent works adopt clustering algorithms to off-line generate pseudo labels, which can then be used as the supervision signal for on-line feature learning in the target domain. However, the off-line generated labels often contain lots of noise that significantly hinders the discriminability of the on-line learned features, and thus limits the final UDA re-ID performance. To this end, we propose a novel approach, called Dual-Refinement, that jointly refines pseudo labels at the off-line clustering phase and features at the on-line training phase, to alternatively boost the label purity and feature discriminability in the target domain for more reliable re-ID. Specifically, at the off-line phase, a new hierarchical clustering scheme is proposed, which selects representative prototypes for every coarse cluster. Thus, labels can be effectively refined by using the inherent hierarchical information of person images. Besides, at the on-line phase, we propose an instant memory spread-out (IM-spread-out) regularization, that takes advantage of the proposed instant memory bank to store sample features of the entire dataset and enable spread-out feature learning over the entire training data instantly. Our Dual-Refinement method reduces the influence of noisy labels and refines the learned features within the alternative training process. Experiments demonstrate that our method outperforms the state-of-the-art methods by a large margin.

研究の動機と目的

• 高イントラクラスタ分散に起因するオフラインクラスタリングによる信頼性の低いラベルが生じる非教師ありドメイン適応型人物再識別（UDA-ReID）におけるノイズラベルの問題に対処する。
• オンライン学習中にノイズラベルの悪影響を軽減することで、ターゲットドメインにおける特徴量の識別性を向上させる。
• ラベル品質と特徴量学習の間で誤り伝播のフィードバックループを解消するため、疑似ラベルと特徴量を交互に精錬する二重最適化フレームワークを構築する。
• 全データにわたる特徴量の広がり正則化を効率的なインスタントメモリバンクを導入することで、高い性能を維持しつつ計算コストを低減する。

提案手法

• 2段階の階層的クラスタリング方式を提案：まずターゲットドメイン特徴量に対して粗いクラスタリングを実施し、その後各粗いクラスタ内に細かいクラスタリングを適用して代表的プロトタイプを特定する。
• 細かいクラスタの重心を各粗いクラスタの代表的プロトタイプとして用い、局所的近傍類似度に依存するのではなく、グローバルかつロバストな類似度計算を可能にする。
• オンライン学習中に、ターゲットドメインの全特徴量を格納するインスタントメモリバンクを活用し、全データにわたる特徴量の広がりを促進するインスタントメモリ広がり正則化（IM-spread-out）を導入する。
• IM-spread-out損失を対照的正則化として定式化し、ハードなノイズサンプルが意思決定境界から遠ざけられるよう促進すると同時に、クラスの一貫性を維持する。
• 階層的クラスタリングに基づく疑似ラベル精錬とIM-spread-out正則化を交互に学習するループに統合し、ラベルの純度と特徴量の識別性を同時に最適化する。
• 学習可能重みαを用いて粗いおよび細かい疑似ラベル下でのメトリクス学習をバランスさせるとともに、IM-spread-out正則化を学習可能重みµと統合する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインデータの階層的構造を活用することで、UDA-ReIDにおけるオフライン疑似ラベルの信頼性をどのように向上させられるか？
• RQ2 グローバル特徴量正則化によってノイズラベルの影響を軽減することで、オンライン特徴量学習はどの程度向上するか？
• RQ3 インスタントメモリバンクは、顕著な計算コストを増加させることなく、効果的かつ低コストなグローバル特徴量広がり正則化を可能にするか？
• RQ4 細かいクラスタ数や広がり正則化の損失重みといったハイパーパrameterが最終性能に与える影響はいかほどか？

主な発見

• Dual-RefinementはMarket1501で82.1%、DukeMTMCで82.1%のランク-1精度を達成し、ベースライン手法（72.5%）およびMMT（78.0%）を大きく上回る。
• mAPはMarket1501で3.17%（ベースライン）から3.53%へ、DukeMTMCで11.45%から15.07%へ上昇し、指標全体にわたり一貫した向上を示す。
• アブレーションスタディの結果、最適な損失重みはα = 0.5およびµ = 0.1であり、これらの値で性能がピークに達し、さらに増加させると劣化することが判明。これはラベル精錬と正則化強度のトレードオフを示している。
• k−近傍数（k）は強く影響を与える：k ≤ 10では性能が安定するが、k > 10になると急激に低下する。これは、多すぎたノイズの陽性サンプルが広がり効果を損なうことを示唆している。
• 細かいクラスタ数Rは極めて重要である：Duke→Market1501ではR = 5、Market1501→DukeではR = 2が最良の性能を達成し、階層的クラスタリングがラベル信頼性を向上させることを示している。
• ベースラインと比較してmAPが10%向上する一方、追加の学習時間は0.36時間にとどまり、高い効率性とスケーラビリティを示している。