[論文レビュー] Joint Noise-Tolerant Learning and Meta Camera Shift Adaptation for Unsupervised Person Re-Identification

Fengxiang Yang, Zhun Zhong+5 more|arXiv (Cornell University)|Mar 8, 2021

Video Surveillance and Tracking Methods参考文献 30被引用数 15

ひとこと要約

本稿では、非教師あり人物再識別における一貫したフレームワークを提案し、クラスタリングから生じるノイズの多い疑似ラベルとカメラシフトに起因する特徴の変動の両方を統合的に扱う。動的かつ対称的な交差エントロピー損失（DSCE）とカメラに配慮したメタラーニング手法（MetaCam）を用いる。DSCEは変化するクラスタ中心に動的に適応し、ノイズラベルに強く、MetaCamはトレーニング中にクロスカメラ検索をシミュレートすることで、カメラ不変な特徴学習を促進し、3つのベンチマークで最先端の性能を達成する。

ABSTRACT

This paper considers the problem of unsupervised person re-identification (re-ID), which aims to learn discriminative models with unlabeled data. One popular method is to obtain pseudo-label by clustering and use them to optimize the model. Although this kind of approach has shown promising accuracy, it is hampered by 1) noisy labels produced by clustering and 2) feature variations caused by camera shift. The former will lead to incorrect optimization and thus hinders the model accuracy. The latter will result in assigning the intra-class samples of different cameras to different pseudo-label, making the model sensitive to camera variations. In this paper, we propose a unified framework to solve both problems. Concretely, we propose a Dynamic and Symmetric Cross-Entropy loss (DSCE) to deal with noisy samples and a camera-aware meta-learning algorithm (MetaCam) to adapt camera shift. DSCE can alleviate the negative effects of noisy samples and accommodate the change of clusters after each clustering step. MetaCam simulates cross-camera constraint by splitting the training data into meta-train and meta-test based on camera IDs. With the interacted gradient from meta-train and meta-test, the model is enforced to learn camera-invariant features. Extensive experiments on three re-ID benchmarks show the effectiveness and the complementary of the proposed DSCE and MetaCam. Our method outperforms the state-of-the-art methods on both fully unsupervised re-ID and unsupervised domain adaptive re-ID.

研究の動機と目的

• 非教師あり人物再識別におけるクラスタリングから生じるノイズの多い疑似ラベルと、カメラシフトに起因する特徴の変動という二重の課題に対処すること。
• ラベル付きデータに依存せずに、カメラ不変な表現を学習することで、モデルの頑健性と一般化性能を向上させること。
• 反復的クラスタリングと疑似ラベル付けの過程で変化するクラスタ構造に適応できるトレーニングフレームワークを開発すること。
• 完全に非教師あり再識別および非教師ありドメイン適応設定の両方で最先端の性能を達成すること。

提案手法

• 特徴メモリを維持することで、クラス中心を動的に更新し、ノイズラベルの影響を軽減する動的かつ対称的な交差エントロピー（DSCE）損失を導入する。
• すべてのクラスに小さな非ゼロ確率を割り当てる対称的なソフトラベル定式化を用いることで、誤った疑似ラベルへの過剰適合を低減し、ラベルノイズに対して頑健であるようにDSCEを設計する。
• カメラIDに基づいてトレーニングデータをメタトレインおよびメタテストセットに分割し、クロスカメラ再識別をシミュレートするカメラに配慮したメタラーニングアルゴリズムMetaCamを提案する。
• メタ最適化を用いて、メタトレイン（ソースカメラ）およびメタテスト（ターゲットカメラ）の両タスクからの勾配を介してバックボーンネットワークを更新し、カメラ不変な特徴学習を促進する。
• トレーニングの反復ごとに特徴表現を格納・更新するための特徴メモリバンクを採用し、動的なクラスタ適応を可能にする。
• DSCEとMetaCamを統合したジョイントトレーニングパイプラインを構築し、疑似ラベルを反復的に精錬するとともに、ノイズおよびドメインシフト下での特徴の頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 反復的クラスタリングの過程で変化するノイズの多い疑似ラベルに対応できるような損失関数は、どのように設計できるか？
• RQ2 ラベル付きデータを必要とせずに、メタラーニングを効果的にカメラ不変な表現の学習に応用できるか？
• RQ3 ノイズ耐性とカメラシフトの補正を同時に最適化することで、非教師あり再識別性能はどの程度向上するか？
• RQ4 提案されたフレームワークは、完全に非教師ありおよび非教師ありドメイン適応の両設定に一般化可能か？

主な発見

• 非教師ありドメイン適応設定において、Market-1501で76.5% mAP、DukeMTMC-reIDで65.0% mAPを達成し、以前の最先端手法MMT-500をそれぞれ5.3%および1.9%上回った。
• 完全に非教師あり再識別設定において、3つのベンチマークで最先端の性能を達成し、優れた一般化性能と頑健性を示した。
• アブレーションスタディの結果、DSCEとMetaCamの両方が性能向上に顕著な貢献を示し、併用することで相乗効果が得られた。
• 理論的にDSCE損失が、多クラス分類におけるノイズ耐性の必要条件を満たすことが証明され、ノイズラベルに対して頑健であることが裏付けられた。
• MetaCamは、異なるカメラからの類似クラスサンプルがよりよくクラスタリングされる可視化結果から、カメラ変動への感受性を顕著に低減していることが示された。
• 本手法は既存のUDA手法と互換性があり、MMT-500の性能をMarket-1501で5.3% mAP、DukeMTMC-reIDで1.9% mAP向上させた。