[論文レビュー] Camera-aware Proxies for Unsupervised Person Re-Identification

Menglin Wang, Baisheng Lai+3 more|arXiv (Cornell University)|Dec 19, 2020

Video Surveillance and Tracking Methods参考文献 38被引用数 8

ひとこと要約

本稿では、教師なし人物再識別のためのカメラに配慮したプロキシ（CAP）を提案する。CAPはクラスタをカメラ固有のプロキシに分割することで、ID内分散を低減し、偽ラベルの信頼性を向上させる。プロキシバランスサンプリングを用いたカメラ内およびカメラ間の対照的学習を導入することで、SOTA性能を達成し、MSMT17において2番目に良い手法と比較して14.3%高いRank-1、10.2%高いmAPを達成した。

ABSTRACT

This paper tackles the purely unsupervised person re-identification (Re-ID) problem that requires no annotations. Some previous methods adopt clustering techniques to generate pseudo labels and use the produced labels to train Re-ID models progressively. These methods are relatively simple but effective. However, most clustering-based methods take each cluster as a pseudo identity class, neglecting the large intra-ID variance caused mainly by the change of camera views. To address this issue, we propose to split each single cluster into multiple proxies and each proxy represents the instances coming from the same camera. These camera-aware proxies enable us to deal with large intra-ID variance and generate more reliable pseudo labels for learning. Based on the camera-aware proxies, we design both intra- and inter-camera contrastive learning components for our Re-ID model to effectively learn the ID discrimination ability within and across cameras. Meanwhile, a proxy-balanced sampling strategy is also designed, which facilitates our learning further. Extensive experiments on three large-scale Re-ID datasets show that our proposed approach outperforms most unsupervised methods by a significant margin. Especially, on the challenging MSMT17 dataset, we gain $14.3\%$ Rank-1 and $10.2\%$ mAP improvements when compared to the second place. Code is available at: exttt{https://github.com/Terminator8758/CAP-master}.

研究の動機と目的

• 教師なし人物再識別におけるカメラ視点の変化によって引き起こされる大きなID内分散を解消すること。
• カメラに依存しないクラスタの代わりにカメラに配慮したプロキシを用いることで、偽ラベルの信頼性を向上させること。
• カメラ内およびカメラ間の二重対照的学習コンponentを用いて、IDの識別性能を向上させること。
• 訓練の安定性と性能を向上させるため、プロキシバランスサンプリング戦略を開発すること。
• 人為的アノテーションデータを一切使用しない完全に教師なしのRe-IDベンチマークでSOTA性能を達成すること。

提案手法

• 本手法は、カメラに依存しないクラスタを複数のカメラに配慮したプロキシに分割し、それぞれのプロキシが1つのカメラからのインスタンスを表すようにする。
• カメラ固有の偽IDタスクに基づいてモデルを学習するカメラ内対照的学習コンponentを導入し、分散を低減し、局所的な識別性能を向上させる。
• 異なるカメラ間の正例およびハードネガティブプロキシを活用することで、グローバルなID識別性能を向上させるカメラ間対照的学習コンponentを設計する。
• 各ミニバッチに多様なプロキシが含まれるようにするため、プロキシバランスサンプリング戦略を採用し、訓練効率と収束性を向上させる。
• クラスタリングを繰り返し用いて偽ラベルを精緻化し、カメラに配慮したプロキシ上で対照的損失を用いてEnd-to-EndでRe-IDモデルを更新する。
• 本手法は、いかなる真のアノテーションも使用せずに、エンドツーエンドで自己教師ありの形で学習される。

実験結果

リサーチクエスチョン

• RQ1 カメラに配慮したプロキシは、教師なし人物再識別におけるカメラ視点の変化によって生じるID内分散を低減できるか？
• RQ2 クラスタをカメラ固有のプロキシに分割することで、偽ラベルの品質とモデルの一般化性能はどのように向上するか？
• RQ3 アノテーションが存在しない状況下で、カメラ内およびカメラ間の対照的学習コンponentは、ID識別性能をどの程度向上できるか？
• RQ4 プロキシバランスサンプリングは、教師なしRe-IDにおけるより安定的で効果的な訓練をもたらすか？
• RQ5 プロキシベースの学習を用いた完全に教師なしの手法は、大規模ベンチマークにおいて、既存のUDAベースおよび教師なし手法を上回ることができるか？

主な発見

• MSMT17データセットでは、本手法は2番目に良い手法と比較して14.3%高いRank-1精度および10.2%高いmAPを達成し、顕著な性能差を示した。
• Market-1501およびDukeMTMC-reIDの両方の純粋な教師なしベースラインを上回り、Market-1501では3.3%高いRank-1および6.1%高いmAPを達成した。
• アブレーションスタディの結果、カメラ内およびカメラ間の対照的学習コンponentの両方が性能向上に顕著な寄与をしていることが確認され、完全なモデルはベースラインと比べて大幅に優れた性能を示した。
• t-SNE可視化では、完全なモデルがID内コンパクト性とID間分離性を顕著に向上させ、特に挑戦的なIDペアにおいて顕著な改善が見られた。
• いかなるラベル付きデータも使用しない状況下でも、本手法は3つのデータセットすべてで教師ありと教師なしのRe-IDモデル間の性能ギャップの80%以上を埋めることができた。
• 真のラベルで訓練した場合の上限性能を評価した結果、より強力なバックボーンやアテンション機構を用いることでさらなる向上が可能であることが示された。