[論文レビュー] Plug-and-Play Pseudo Label Correction Network for Unsupervised Person Re-identification

Tianyi Yan, Kuan Jun Zhu+4 more|arXiv (Cornell University)|Jun 14, 2022

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本稿では、k-NNグラフ上の構造的整合性を強制するためにグラフ畳み込みネットワークを活用し、過学習を防ぐために早期停止を適用することで、自己教師あり人物再識別におけるノイズの多い疑似ラベルを精錬する、プラグアンドプレイ型のグラフベース疑似ラベル補正（GLC）ネットワークを提案する。GLCは主な学習パイプラインを変更せずに、複数のベンチマークおよびクラスタリング手法において再識別精度を向上させる。

ABSTRACT

Clustering-based methods, which alternate between the generation of pseudo labels and the optimization of the feature extraction network, play a dominant role in both unsupervised learning (USL) and unsupervised domain adaptive (UDA) person re-identification (Re-ID). To alleviate the adverse effect of noisy pseudo labels, the existing methods either abandon unreliable labels or refine the pseudo labels via mutual learning or label propagation. However, a great many erroneous labels are still accumulated because these methods mostly adopt traditional unsupervised clustering algorithms which rely on certain assumptions on data distribution and fail to capture the distribution of complex real-world data. In this paper, we propose the plug-and-play graph-based pseudo label correction network (GLC) to refine the pseudo labels in the manner of supervised clustering. GLC is trained to perceive the varying data distribution at each epoch of the self-training with the supervision of initial pseudo labels generated by any clustering method. It can learn to rectify the initial noisy labels by means of the relationship constraints between samples on the k Nearest Neighbor (kNN) graph and early-stop training strategy. Specifically, GLC learns to aggregate node features from neighbors and predict whether the nodes should be linked on the graph. Besides, GLC is optimized with 'early stop' before the noisy labels are severely memorized to prevent overfitting to noisy pseudo labels. Consequently, GLC improves the quality of pseudo labels though the supervision signals contain some noise, leading to better Re-ID performance. Extensive experiments in USL and UDA person Re-ID on Market-1501 and MSMT17 show that our method is widely compatible with various clustering-based methods and promotes the state-of-the-art performance consistently.

研究の動機と目的

• 自己教師ありおよびドメイン適応型人物再識別の分野において、繰り返しの学習プロセスでモデル性能を低下させるノイズの多い疑似ラベルという、長年の問題に取り組むこと。
• データ分布に関する強い仮定に依存せず、K-means や DBSCAN などの従来のクラスタリング手法の限界を克服する方法を開発すること。
• 任意のクラスタリングベースの自己学習フレームワークと互換性を持つ、プラグアンドプレイ型モジュールを設計すること。
• グラフベースの正則化と早期停止により、ラベルノイズの悪影響を低減し、反復的学習中に耐性を確保すること。

提案手法

• 各ノードが人物画像を表し、特徴類似度に基づいてk番目の近隣に接続されるk-NNグラフを構築する。
• グラフ上でリンク予測問題としてクラスタリングタスクを定式化し、隣接ノードからの特徴を集約するためにGCN層を用いる。
• 初期の疑似ラベルを教師信号として用い、ノイズを含んでもよい状態で、2つのノードが接続される（同一IDに属する）かどうかを予測するGLCネットワークを学習する。
• GLC学習中に、ノイズラベルの記憶を防ぎ、一般化性能を維持するために、早期停止戦略を適用する。
• 各クラスタリングステップの後処理モジュールとしてGLCを統合し、次の特徴抽出器の更新前に疑似ラベルを精錬する。
• 必要に応じて、後段の学習段階で特徴抽出器を再初期化するリスタート戦略を適用し、さらなる性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多い教師信号を用いても、グラフベースのニューラルネットワークが自己教師あり人物再識別において効果的にノイズの多い疑似ラベルを補正できるか？
• RQ2 GLC学習中に早期停止を適用することで、ノイズの多い疑似ラベルへの過学習を防ぎ、ラベル品質を向上させられるか？
• RQ3 GLCモジュールは、さまざまなクラスタリングベースのRe-IDフレームワークおよびデータセットでどのように性能を発揮するか？
• RQ4 自己学習プロセスにおいて、GLCを適用する最適なタイミングと頻度は何か？

主な発見

• GLCは、Market-1501およびMSMT17を含む複数のベンチマークで、自己教師ありおよび自己教師ありドメイン適応設定の両方において、mAPおよびNMIを一貫して向上させる。
• Market-1501からMSMT17へのベンチマークにおいて、GLCとIDMを組み合わせることで、学習時間は25%増加するが、mAPは3.5%絶対的に向上する。
• GLCを全学習エポックの20%（p_s = 0.2）から適用する際、特徴の識別性とラベル補正効果のバランスが最適となり、最良の性能が得られる。
• GLC学習をt_e = 250エポックで早期停止することで、過学習を防ぎ、NMIスコアの安定性から、学習全体を通して高品質な疑似ラベルを維持できることが示された。
• リスタート戦略によりさらなる性能向上が得られ、特徴抽出器を学習プロセスの80%（p_r = 0.8）で再初期化した際に最良の結果が得られた。
• GLCはハイパーパrameter、特にλの選択に強く依存せず、使用されるクラスタリング手法にかかわらず一貫した向上効果を示す。