[論文レビュー] Implicit Sample Extension for Unsupervised Person Re-Identification

Xinyu Zhang, Dongdong Li+6 more|arXiv (Cornell University)|Apr 14, 2022

Video Surveillance and Tracking Methods被引用数 8

ひとこと要約

本稿では、埋め込み空間におけるクラスタ境界付近に段階的線形補間（PLI）を用いて合成サポートサンプルを生成することで、部分クラスタリングおよび混合クラスタリング誤りを低減する、非教師付き人物再識別における新規手法である暗黙的サンプル拡張（ISE）を提案する。ラベル保持型対照的損失を組み込むことでクラスタリング品質が向上し、カメラ情報を利用せずにMarket-1501で84.7% mAPおよび94.0%トップ-1精度、MSMT17で35.0% mAPおよび64.7%トップ-1精度を達成し、最先端性能を実現した。

ABSTRACT

Most existing unsupervised person re-identification (Re-ID) methods use clustering to generate pseudo labels for model training. Unfortunately, clustering sometimes mixes different true identities together or splits the same identity into two or more sub clusters. Training on these noisy clusters substantially hampers the Re-ID accuracy. Due to the limited samples in each identity, we suppose there may lack some underlying information to well reveal the accurate clusters. To discover these information, we propose an Implicit Sample Extension (\OurWholeMethod) method to generate what we call support samples around the cluster boundaries. Specifically, we generate support samples from actual samples and their neighbouring clusters in the embedding space through a progressive linear interpolation (PLI) strategy. PLI controls the generation with two critical factors, i.e., 1) the direction from the actual sample towards its K-nearest clusters and 2) the degree for mixing up the context information from the K-nearest clusters. Meanwhile, given the support samples, ISE further uses a label-preserving loss to pull them towards their corresponding actual samples, so as to compact each cluster. Consequently, ISE reduces the "sub and mixed" clustering errors, thus improving the Re-ID performance. Extensive experiments demonstrate that the proposed method is effective and achieves state-of-the-art performance for unsupervised person Re-ID. Code is available at: \url{https://github.com/PaddlePaddle/PaddleClas}.

研究の動機と目的

• クラスタリング誤りに起因する部分クラスタや混合クラスタに起因するノイズの多い疑似ラベル化を是正すること。
• 限られた1人称あたりのサンプル数に起因する潜在的情報の欠落を回復することで、クラスタリング品質を向上させること。
• パラメータを必要とせず、画像空間での明示的生成なしに文脈表現を強化する暗黙的サンプル生成手法を提案すること。
• カメラ情報やドメイン固有のアノテーションに依存せず、非教師付き人物再識別で最先端の性能を達成すること。

提案手法

• ISEは、埋め込み空間における実際のサンプルとそのK番目の近隣クラスタの中心との間で段階的線形補間（PLI）を用いてサポートサンプルを生成する。
• PLIは2つの要因を用いてサンプル生成を制御する：方向（サンプルからK番目の近隣クラスタ中心への方向）と度合い（近隣クラスタからの文脈を段階的に混合する度合い）。
• ラベル保持型（LP）対照的損失を導入し、サポートサンプルを元のサンプルに引き寄せるようにすることで、クラスタを収縮させ、クラス間の混同を低減する。
• サポートサンプルを実際の訓練サンプルとして扱い、追加の特徴抽出を伴わず、モデル最適化に参加可能である。
• 本手法は埋め込み空間で暗黙的に動作し、GANベースの画像生成や追加パラメータの必要がない。
• 標準的なRe-IDフレームワークと互換性があり、GeMなどのプーリング戦略と組み合わせることでさらなる性能向上が可能である。

実験結果

リサーチクエスチョン

• RQ1 暗黙的サンプル生成により、欠落した識別間の変動を回復させることで、非教師付き人物再識別におけるクラスタリング品質を向上させることができるか？
• RQ2 モデルパラメータやピクセル空間での生成を導入せずに、部分クラスタリングおよび混合クラスタリング誤りを低減する方法でサポートサンプルを生成できるか？
• RQ3 制御された文脈混合を伴う段階的補間は、ベースラインクラスタリング手法と比較して、どの程度Re-ID性能を向上させるか？
• RQ4 ノイズの多い疑似ラベルが存在する状況でも、ラベル保持型損失はクラスタを収縮させ、クラス間の混同を効果的に低減できるか？
• RQ5 ISEは異なるデータセットに一般化可能であり、カメラ情報や真のラベル情報を利用せずに最先端の性能を達成できるか？

主な発見

• Market-1501では84.7% mAPおよび94.0%トップ-1精度を達成し、同様の非カメラ設定下で以前の最先端手法であるCluster-Contrast（82.6% mAP）を上回った。
• MSMT17では35.0% mAPおよび64.7%トップ-1精度を達成し、カメラ情報を利用しない状況でOPLG-HCD（26.9% mAP）、ICE（29.8% mAP）、Cluster-Contrast（33.3% mAP）を上回った。
• GeMプーリングを適用した場合、Market-1501で85.3% mAPおよび94.3%トップ-1精度にさらなる向上を示し、強力なドメイン一般化能力と高度な特徴プーリングとの相性の良さを示した。
• 真のラベルを用いた教師あり設定でも、ISEはMarket-1501で87.8% mAPおよび95.6%トップ-1精度を達成し、PCB や DG-Net といった有名な教師あり手法を上回った。
• アブレーションスタディの結果、PLIとラベル保持型損失の両方が性能向上に不可欠であり、それぞれが顕著な寄与を示した。
• クラスタ境界に沿って意味のあるサポートサンプルを生成することで、埋め込み空間の可視化から部分クラスタリングおよび混合クラスタリング行動が効果的に低減されていることが確認された。