[論文レビュー] Part-based Pseudo Label Refinement for Unsupervised Person Re-identification

Yoonki Cho, Woo Jae Kim+2 more|arXiv (Cornell University)|Mar 28, 2022

Video Surveillance and Tracking Methods被引用数 14

ひとこと要約

本稿では、グローバル特徴とパーツ特徴の補完的関係を活用してノイズの多い疑似ラベルを低減する、自己アンサンブル型の教師なし人物再識別手法であるPart-based Pseudo Label Refinement (PPLR) を提案する。k近傍法の類似度に基づくクロスアグリーメントスコアを導入することで、パーツ特徴の予測を用いてグローバル疑似ラベルを精緻化し、パーツ特徴に対してもアグリーメントに配慮したラベルスムージングを適用することで、Market-1501、MSMT17、VeRi-776で最先端性能を達成した。

ABSTRACT

Unsupervised person re-identification (re-ID) aims at learning discriminative representations for person retrieval from unlabeled data. Recent techniques accomplish this task by using pseudo-labels, but these labels are inherently noisy and deteriorate the accuracy. To overcome this problem, several pseudo-label refinement methods have been proposed, but they neglect the fine-grained local context essential for person re-ID. In this paper, we propose a novel Part-based Pseudo Label Refinement (PPLR) framework that reduces the label noise by employing the complementary relationship between global and part features. Specifically, we design a cross agreement score as the similarity of k-nearest neighbors between feature spaces to exploit the reliable complementary relationship. Based on the cross agreement, we refine pseudo-labels of global features by ensembling the predictions of part features, which collectively alleviate the noise in global feature clustering. We further refine pseudo-labels of part features by applying label smoothing according to the suitability of given labels for each part. Thanks to the reliable complementary information provided by the cross agreement score, our PPLR effectively reduces the influence of noisy labels and learns discriminative representations with rich local contexts. Extensive experimental results on Market-1501 and MSMT17 demonstrate the effectiveness of the proposed method over the state-of-the-art performance. The code is available at https://github.com/yoonkicho/PPLR.

研究の動機と目的

• 教師なし人物再識別で用いられる疑似ラベルに内在するノイズがモデル性能を低下させることを是正すること。
• 従来の手法がグローバル特徴に依存する一方で、細分化された局所的文脈を無視するという限界を克服すること。
• グローバル特徴とパーツ特徴の補完的関係を活用して、ラベルの信頼性と表現学習の質を向上させること。
• 補助ネットワークを必要としない自己アンサンブルフレームワークを構築し、計算コストを低減しながら高い精度を維持すること。
• オクルージョンや背景アーチファクトからのノイズを防ぐために、信頼できるグローバル特徴とパーツ特徴の補完的情報を特定するメカニズムを導入すること。

提案手法

• グローバル特徴とパーツ特徴のk近傍集合の類似度に基づくクロスアグリーメントスコアを設計し、信頼できる補完的関係を測定する。
• 複数のパーツ特徴からの予測を集約することでグローバル疑似ラベルを精緻化するパーツガイドドラベル精緻化（PGLR）を実装し、局所的文脈の活用を強化する。
• クロスアグリーメントスコアに基づいて信頼度分布をキャリブレーションすることで、パーツ特徴の疑似ラベルを精緻化するアグリーメントに配慮したラベルスムージング（AALS）を適用する。
• 補助ネットワークを必要とせず、グローバル特徴とパーツ特徴が互いの疑似ラベルを相互に精緻化する自己学習的ペアアンサンブル訓練方式を採用する。
• 精緻化された疑似ラベルを対照的学習の目的関数に統合し、特徴の識別性を向上させる。アブレーションスタディにより、各モジュールの寄与度を検証した。
• 特徴マップを均等に分割することでパーツ特徴を抽出する戦略を採用したが、画像間でのボディパーツの不整合による制限を認識している。

実験結果

リサーチクエスチョン

• RQ1 教師なし人物再識別におけるグローバル特徴とパーツ特徴の補完的関係を、疑似ラベルのノイズ低減に効果的に活用できるか？
• RQ2 関係のない領域やオクルージョン領域からのノイズを拡散させないために、信頼できるグローバル特徴とパーツ特徴の補完的情報をどのように特定できるか？
• RQ3 クロスアグリーメントを用いてグローバル特徴とパーツ特徴の両方の疑似ラベルを精緻化することで、グローバル特徴のみを精緻化する手法に比べ、全体の再識別性能が向上するか？
• RQ4 補助ネットワークや複雑なアーキテクチャを用いないクロスアグリーメントに基づく自己アンサンブルフレームワークは、最先端手法を上回る性能を達成できるか？
• RQ5 豊富な局所的文脈を持つパーツ特徴は、ラベルなし状態において、学習された表現のロバスト性と識別性をどの程度向上させるか？

主な発見

• PPLRはMarket-1501、MSMT17、VeRi-776で最先端性能を達成し、前回のSOTA手法RLCCに比べてmAPでそれぞれ+3.8%、+3.5%、+2.0%の向上を達成した。
• Market-1501およびMSMT17では、カメラに依存する対照的学習を用いる強力なSOTA手法ICEを+2.1%および+3.3%のmAP向上で上回った。
• アブレーションスタディにより、パーツガイドドラベル精緻化とアグリーメントに配慮したラベルスムージングの両方が性能向上に寄与していることが確認され、クロスアグリーメントスコアがノイズ低減において極めて重要であることが示された。
• 特にポーズや視点の変化がある状況でも、パーツ特徴をグローバル特徴クラスタリングの信頼できる信号として活用することで、ラベルノイズを効果的に緩和した。
• クロスアグリーメントスコアは、オクルージョンや背景オブジェクトなどのノイズや無関係なパーツ特徴を効果的に同定・フィルタリングした。
• 補助ネットワークを一切用いず高精度を達成したため、マルチバックボーンの教師-生徒スキームに比べ、パーツ-グローバル補完性に基づく自己アンサンブル学習がより効率的かつ効果的な代替手段であることが示された。