[論文レビュー] Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification

De Cheng, Haichun Tai+3 more|arXiv (Cornell University)|Nov 30, 2022

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本論文では、特徴空間内での類似度重みを用いて最近隣の予測を集約することで、ノイズの多い疑似ラベルを精錬する、シンプルでありながら効果的な非教師付き人物再識別手法であるNeighbour Consistency Guided Pseudo-Label Refinement (NCPLR) を提案する。この手法はモデルのロバスト性を向上させ、ベースラインのクラスタリング手法と比較して5つのデータセットで最大1.48%のmAP向上を達成する。

ABSTRACT

Unsupervised person re-identification (ReID) aims at learning discriminative identity features for person retrieval without any annotations. Recent advances accomplish this task by leveraging clustering-based pseudo labels, but these pseudo labels are inevitably noisy which deteriorate model performance. In this paper, we propose a Neighbour Consistency guided Pseudo Label Refinement (NCPLR) framework, which can be regarded as a transductive form of label propagation under the assumption that the prediction of each example should be similar to its nearest neighbours'. Specifically, the refined label for each training instance can be obtained by the original clustering result and a weighted ensemble of its neighbours' predictions, with weights determined according to their similarities in the feature space. In addition, we consider the clustering-based unsupervised person ReID as a label-noise learning problem. Then, we proposed an explicit neighbour consistency regularization to reduce model susceptibility to over-fitting while improving the training stability. The NCPLR method is simple yet effective, and can be seamlessly integrated into existing clustering-based unsupervised algorithms. Extensive experimental results on five ReID datasets demonstrate the effectiveness of the proposed method, and showing superior performance to state-of-the-art methods by a large margin.

研究の動機と目的

• クラスタリングに基づく非教師付き人物再識別（ReID）におけるノイズの多い疑似ラベルの問題に取り組む。これは、ラベルの記憶化と過学習によりモデル性能が低下するためである。
• 非教師付きReIDをラベルノイズ学習問題としてモデル化することで、訓練の安定性とロバスト性を向上させる。
• 補助ネットワークや複雑なアーキテクチャを必要とせず、既存のクラスタリングベースのUSL ReIDフレームワークを強化できる軽量で即席的な手法を開発する。
• 特徴空間内の局所的近隣構造を活用し、伝達的ラベル伝搬の原則に従って疑似ラベルを精錬する。

提案手法

• 各訓練インスタンスの精錬済み疑似ラベルは、k個の最近傍の予測の重み付きアンサンブルとして計算され、重みは特徴空間内でのコサイン類似度に基づく。
• 学習可能な補間係数αを用いて、元のクラスタリングベースの疑似ラベルと近隣アンサンブル予測を組み合わせる。
• 近隣一貫性正則化（NCR）を新たに導入し、近隣の予測平均からの予測の乖離をペナルティ化することで、訓練の安定性を向上させる。
• NCR損失は、特徴埋め込みから構築された類似度グラフを用いて計算され、予測ラベルに依存せず、局所的一貫性を促進する。
• 標準的なメトリクス学習目的関数（三重損失やInfoNCE損失）と互換性があり、既存のUSL ReIDパイプラインへの統合に最小限の変更で対応可能である。
• ハイパーパrameter α、ρ（近傍半径）、λ1、λ2 は、精錬と監督のバランスを取るために調整され、最適値は Market1501 での消去実験から α=0.2、ρ=0.2、λ1=1.0、λ2=1.0 であると特定された。

実験結果

リサーチクエスチョン

• RQ1 補助モデルや複雑なアーキテクチャを必要とせずに、近隣に基づくラベル精錬が非教師付き人物再識別における疑似ラベル品質を向上させられるか？
• RQ2 近隣一貫性正則化は、訓練中にノイズの多い疑似ラベルへの過学習をどのように軽減するか？
• RQ3 提案手法NCPLRは、ベースラインのクラスタリングベースのUSL ReID手法と比較して、mAPおよびRank-1精度をどの程度向上させるか？
• RQ4 mAPを最大化するために、ハイパーパrameter α、ρ、λ1、λ2 の最適な設定は何か？
• RQ5 クラスタリング品質が低い場合でも、この手法は有効に機能するか、それとも比較的綺麗な初期疑似ラベルセットに依存するか？

主な発見

• NCPLRは、5つの標準的なReIDデータセットにおいて、ベースライン手法Lcc + Lceと比較して平均1.48%のmAP向上を達成する。
• 重み付き精錬戦略（式7）を組み合わせた場合、平均で追加0.48%のmAP向上が達成される。
• 教師-生徒ネットワークに適用した場合、平均0.64%のmAP向上が得られ、自己蒸留設定でも有効であることが示された。
• 最適なハイパーパrameter設定は、Market1501における消去実験から得られた α=0.2、ρ=0.2、λ1=1.0、λ2=1.0 である。
• α=0.2 で最も良い性能が得られ、これは元のクラスタリングと近隣コンSENSUSのバランスが優れた結果をもたらすことを示している。
• この手法はロバストで汎用的であり、Market1501、DukeMTMC、CUHK03、MSMT1233、CUHK-SYSUを含む複数のデータセットで一貫した向上効果を示している。