[論文レビュー] ICE: Inter-instance Contrastive Encoding for Unsupervised Person Re-identification

Hao Chen, Benoit Lagadec+1 more|arXiv (Cornell University)|Mar 30, 2021

Video Surveillance and Tracking Methods参考文献 47被引用数 12

ひとこと要約

本稿では、対照的学習を改善するためにペairワイズなインスタンス類似度を活用する、未学習の人物再識別手法であるInter-instance Contrastive Encoding（ICE）を提案する。ハードな正例のマイニングに類似度ランク付けを用い、増幅の一貫性にはソフト類似度スコアを用いることで、クラス内分散を低減し、頑健性を向上させ、アイデンティティラベルを一切使用せずにMarket1501、DukeMTMC-reID、MSMT17で最先端の性能を達成する。

ABSTRACT

Unsupervised person re-identification (ReID) aims at learning discriminative identity features without annotations. Recently, self-supervised contrastive learning has gained increasing attention for its effectiveness in unsupervised representation learning. The main idea of instance contrastive learning is to match a same instance in different augmented views. However, the relationship between different instances has not been fully explored in previous contrastive methods, especially for instance-level contrastive loss. To address this issue, we propose Inter-instance Contrastive Encoding (ICE) that leverages inter-instance pairwise similarity scores to boost previous class-level contrastive ReID methods. We first use pairwise similarity ranking as one-hot hard pseudo labels for hard instance contrast, which aims at reducing intra-class variance. Then, we use similarity scores as soft pseudo labels to enhance the consistency between augmented and original views, which makes our model more robust to augmentation perturbations. Experiments on several large-scale person ReID datasets validate the effectiveness of our proposed unsupervised method ICE, which is competitive with even supervised methods. Code is made available at https://github.com/chenhao2345/ICE.

研究の動機と目的

• 既存の未学習ReID手法が対照的学習においてインスタンス間関係を十分に活用していないという制限に対処すること。
• インスタンス間のペアワイズ類似度ランク付けを用いたハードな正例マイニングにより、未学習ReIDにおけるクラス内分散を低減すること。
• 類似度スコアをソフトな偽ラベルとして用いることで、データ増幅の摂動に対するモデルの頑健性を向上させること。
• アイデンティティラベルを一切必要とせず、教師あり手法の性能に匹敵または上回る完全な未学習フレームワークを構築すること。

提案手法

• ICEはミニバッチ内でのペアワイズ類似度スコアを用い、各アーキテクチャに対して最もハードな正例を特定し、ハードなインスタンス対照的学習用のone-hotハード偽ラベルを形成する。
• これらのハード偽ラベルに基づく対照的損失を適用することで、クラス内分散を最小化し、クラスタの凝集性を向上させる。
• ペアワイズ類似度スコアをソフトな偽ラベルとして用い、元の画像と増幅された画像の間の一貫性を強制することで、データ増幅に対する頑健性を向上させる。
• フレームワークは3つのコンponentで構成される：クラスレベルの対照（重心ベース）、ハードなインスタンス対照（最もハードな正例）、ソフト一貫性損失（増幅不変性）。
• アイデンティティラベルを一切必要とせず、カメラに依存しないおよびカメラに依存するメモリバンクの両方と互換性を持つ完全な未学習フレームワークである。
• 自己教師ありのインスタンスレベルおよびペアワイズ類似度学習から導出された対照的目的を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 インスタンス間のペアワイズ類似度を活用することで、クラスレベルおよびインスタンスレベルの対照的学習を上回る未学習の人物再識別が可能になるか？
• RQ2 類似度ランク付けに基づくハードな正例マイニングは、未学習ReIDにおけるクラス内分散をどのように低減するか？
• RQ3 ソフトな類似度スコアを偽ラベルとして用いることで、データ増幅の摂動に対するモデルの頑健性が向上するか？
• RQ4 インスタンス間の類似関係を活用することで、教師あり手法に匹敵または上回る性能が未学習設定で達成できるか？

主な発見

• ICE(aware)はMarket1501で82.3%のランク-1精度を達成し、カメラに依存するベースラインCAPを2.9ポイント上回った。
• ICE(agnostic)はMarket1501でカメラに依存しないベースラインSpCLを2.8%上回り、カメラの事前知識なしで優れた頑健性を示した。
• MSMT17では、ICE(aware)が98.4%のランク-1精度を達成し、過去のすべての未学習およびUDA手法を大きく上回った。
• ICEは教師あり手法と競争力のある性能を示した：真のラベルを用いたICEはMarket1501で86.6%のランク-1精度を達成し、PCBおよびDG-Netに近い性能に到達した。
• アブレーションスタディの結果、ハードなインスタンス対照とソフト一貫性損失の両方が性能向上に顕著な寄与をしていることが確認された。
• 定性的な結果から、ICEはハードな検索ケースにおいて衣類のパターン、髪の色、アクセサリーなどの微細な視覚的特徴を効果的に捉えていることが示された。