[論文レビュー] Cluster Contrast for Unsupervised Person Re-Identification

Zuozhuo Dai, Guangyuan Wang+4 more|arXiv (Cornell University)|Mar 22, 2021

Video Surveillance and Tracking Methods参考文献 48被引用数 59

ひとこと要約

この論文は、unsupervisedな人の再識別における momentum 更新を備えたクラスターレベルのメモリ辞書「Cluster Contrast」を提案し、複数のベンチマークにおいて純粋にunsupervisedな手法の中で最先端の結果を達成します。

ABSTRACT

State-of-the-art unsupervised re-ID methods train the neural networks using a memory-based non-parametric softmax loss. Instance feature vectors stored in memory are assigned pseudo-labels by clustering and updated at instance level. However, the varying cluster sizes leads to inconsistency in the updating progress of each cluster. To solve this problem, we present Cluster Contrast which stores feature vectors and computes contrast loss at the cluster level. Our approach employs a unique cluster representation to describe each cluster, resulting in a cluster-level memory dictionary. In this way, the consistency of clustering can be effectively maintained throughout the pipline and the GPU memory consumption can be significantly reduced. Thus, our method can solve the problem of cluster inconsistency and be applicable to larger data sets. In addition, we adopt different clustering algorithms to demonstrate the robustness and generalization of our framework. The application of Cluster Contrast to a standard unsupervised re-ID pipeline achieves considerable improvements of 9.9%, 8.3%, 12.1% compared to state-of-the-art purely unsupervised re-ID methods and 5.5%, 4.8%, 4.4% mAP compared to the state-of-the-art unsupervised domain adaptation re-ID methods on the Market, Duke, and MSMT17 datasets. Code is available at https://github.com/alibaba/cluster-contrast.

研究の動機と目的

• memoryディクショナリの更新とモデル更新との間の特徴表現の一貫性の欠如を低減することによって、unsupervisedな人の再識別を動機づけ、改善する。
• 各クラスタを1つの特徴ベクトルで表すクラスターレベルのメモリ辞書を提案する。
• 個々のインスタンスではなくクラスタ表現上で動作するクラスターレベルのコントラスト損失（ClusterNCE）を開発する。
• トレーニング反復全体でクラスタ特徴の一貫性を強化するためのモーメンタム更新メカニズムを組み込む。

提案手法

• クラスターベースの特徴ベクトルを初期化としてクラスターレベルのメモリ辞書を保存する。
• クエリ特徴と辞書内のすべてのクラスタ表現（phi_k）との間でClusterNCE損失を計算する。
• クラスタkに属するクエリqに対してphi_k <- m * phi_k + (1 - m) * q のモーメンタム更新でクラスタ表現を更新する。
• エポック開始時にオフラインクラスタリング（DBSCAN）でクラスタを初期化し、各エポックでクラスタ数Kを更新する。
• ResNet-50のバックボーンと2048次元特徴、標準的なデータ拡張、およびDBSCANベースの疑似ラベリングを使用。
• Adam、温度tau、固定モーメンタムmを用いて反復間の特徴の一貫性を強制的に保つように学習する。

実験結果

リサーチクエスチョン

• RQ1 モーメンタム更新を伴うクラスターレベルのメモリは、インスタンスレベルのメモリアプローチと比べてunsupervised re-IDにおける特徴の不整合を減らすことができるか。
• RQ2 クラスタ表現に対するClusterNCEは純粋にunsupervisedな再識別パイプラインにおいて従来のインスタンスレベルのコントラスト損失を上回るか。
• RQ3 動的クラスタリング（Kの変更）はクラスターレベルのコントラスト学習とモーメンタム更新とどのように相互作用するか。
• RQ4 Cluster Contrastを用いた場合、従来のunsupervised手法と比べて標準的な再識別ベンチマークでどの程度の実証的改善が見られるか。

主な発見

Dataset	Method	mAP	top-1	top-5	top-10
Market-1501	Ours	83.0	92.9	—	—
Market-1501	SSL	37.8	71.7	83.8	87.4
Market-1501	MMCL	45.5	80.3	89.4	92.3
Market-1501	HCT	56.4	80.0	91.6	95.2
Market-1501	CycAs	64.8	84.8	-	-
Market-1501	UGA	70.3	87.2	-	-
Market-1501	SPCL	73.1	88.1	95.1	97.0
Market-1501	IICS	72.1	88.8	95.3	96.9
Market-1501	OPLG	78.1	91.1	96.4	97.7
Market-1501	RLCC	77.7	90.8	96.3	97.5
Market-1501	ICE	79.5	92.0	97.0	98.1
Market-1501	PPLR	81.5	92.8	97.1	98.1
MSMT17	Ours	33.0	62.0	-	-
MSMT17	MMT	75.6	89.3	95.8	97.5
MSMT17	SPCL	77.5	89.7	96.1	97.6
MSMT17	SPCL (None)	72.3	88.1	96.6	98.3
MSMT17	Ours	84.7	94.4	98.3	99.3
VeRi-776	Ours	40.8	86.2	90.5	92.8

• 純粋にunsupervisedなre-ID手法の中でいくつかのベンチマークで最先端の性能を達成。
• クラスタNCEとモーメンタム更新を備えたクラスターレベルのメモリは、インスタンスレベルまたはクラスタ単独のベースラインよりも高いmAPとRank-1精度を実現。
• バッチサイズの変化やクラスタサイズのばらつきに対して頑健で、クラス内外の特徴分離が改善。
• Market-1501、MSMT17、PersonXでいくつかのベースラインunsupervised手法を上回り、VeRi-776（車両re-ID）でも競争力のある結果を示す。
• アブレーション研究は、クラスターメモリ、モーメンタム更新、およびクラスターレベル損失が従来のインスタンスレベル手法よりも有益であることを確認。