[論文レビュー] Refining Pseudo Labels with Clustering Consensus over Generations for Unsupervised Object Re-identification

Xiao Zhang, Yixiao Ge+2 more|arXiv (Cornell University)|Jun 11, 2021

Advanced Image and Video Retrieval Techniques参考文献 47被引用数 7

ひとこと要約

本稿では、連続する学習世代におけるクラスタリングの一致を活用してラベルノイズを低減する、教師なしオブジェクト再識別を目的とした新しい擬似ラベル精錬手法RLCCを提案する。ランダムウォークによって世代間類似度に従い、ソフト擬似ラベルを伝搬・アンサンブル化することで、性能が向上し、MSMT17でSOTAを8.8%上回るmAP向上を達成した。

ABSTRACT

Unsupervised object re-identification targets at learning discriminative representations for object retrieval without any annotations. Clustering-based methods conduct training with the generated pseudo labels and currently dominate this research direction. However, they still suffer from the issue of pseudo label noise. To tackle the challenge, we propose to properly estimate pseudo label similarities between consecutive training generations with clustering consensus and refine pseudo labels with temporally propagated and ensembled pseudo labels. To the best of our knowledge, this is the first attempt to leverage the spirit of temporal ensembling to improve classification with dynamically changing classes over generations. The proposed pseudo label refinery strategy is simple yet effective and can be seamlessly integrated into existing clustering-based unsupervised re-identification methods. With our proposed approach, state-of-the-art method can be further boosted with up to 8.8% mAP improvements on the challenging MSMT17 dataset.

研究の動機と目的

• クラスタリングに基づく教師なしオブジェクト再識別手法における、依然として深刻な擬似ラベルノイズの課題に対処すること。
• 固定されたクラス集合を仮定する従来の時間的アンサンブル技術の限界を克服し、教師なし再識別における動的変化する擬似ラベルに適用可能であるようにすること。
• 精錬された擬似ラベルを通じて、複数の学習世代にわたる時間的整合性を活用することで、モデルの汎化性能と性能を向上させること。
• 既存の教師なし再識別フレームワークと互換性があり、構造的変更を最小限に抑えて性能を向上できる、プラグアンドプレイ型モジュールを開発すること。

提案手法

• サンプル-ラベル割り当てのインターセクション・オブ・ユニオン（IoU）を用いて、連続する学習世代間のクラスタリングの一致を推定し、擬似クラス割り当ての類似度を測定する。
• クラスタリングの一致をガイドとして、擬似ラベル類似度グラフ上でランダムウォークを用いて、前世代のソフト擬似ラベルを現在の世代に伝搬する。
• 現在の予測と時間的に伝搬されたラベルをモーメンタム平均で統合することで、現在の世代の擬似ラベルを精錬する。
• 精錬されたソフト擬似ラベルを学習目的関数に統合し、従来のハード擬似ラベルを置き換えることで、既存のクラスタリングベースの教師なし再識別パイプラインに統合する。
• ラベル伝搬の安定性を向上させ、世代間でのノイズや一貫性のない擬似ラベルに対して耐性を高めるために、移動平均戦略を用いる。
• 各エポックで擬似ラベルを更新し、次世代の学習で使用する精錬済みラベルを用いる、エンドツーエンドで反復的な学習パイプラインを適用する。

実験結果

リサーチクエスチョン

• RQ1 擬似ラベルが学習世代に伴い動的に変化する教師なしオブジェクト再識別において、時間的アンサンブルの原則を効果的に適応できるか？
• RQ2 連続する学習世代間のクラスタリングの一致を、信頼性の高い擬似ラベル伝搬と精錬をガイドするためにどのように活用できるか？
• RQ3 精錬された時間的アンサンブル化されたソフト擬似ラベルは、標準的なハード擬似ラベルと比較して、ノイズ低減とmAP向上にどの程度寄与するか？
• RQ4 提案手法RLCCは、MSMT17 や VeRi-776 といった困難なデータセットも含む多様なベンチマークで汎用性を示せるか？
• RQ5 ソフトラベル計算における温度パラメータの選択に依存せず、RLCCの性能向上が安定しているか？

主な発見

• Market-1501データセットでは、SOTA手法SpCLを4.6%上回り、mAPが77.7%に到達した。
• より困難なDukeMTMC-reIDデータセットでは、SpCLを3.9%上回り、mAPが69.2%に到達した。
• 大規模かつ複雑なMSMT17ベンチマークでは、RLCCは27.9%のmAPを達成し、SpCLの19.1%を8.8%上回った。
• 車両再識別ベンチマークVeRi-776では、RLCCは39.6%のmAPを達成し、SpCLの36.9%を2.7%上回った。
• アブレーションスタディの結果、RLCCは特に温度パラメータτの変動に対して頑健であり、15から45の範囲で強力な性能を維持した。
• 評価されたすべてのデータセットでベースラインを一貫して改善し、多様な教師なし再識別環境において汎用性と安定性を示した。