[論文レビュー] Rethinking Person Re-identification from a Projection-on-Prototypes Perspective

Qizao Wang, Xuelin Qian+3 more|arXiv (Cornell University)|Aug 21, 2023

Video Surveillance and Tracking MethodsComputer Science被引用数 3

ひとこと要約

本稿では、分類器の重みをクラスプロトタイプとして扱い、推論時にも分類器を保持する新しい人物再識別ベースライン、ProNetを提案する。特徴をこれらのプロトタイプに射影し、射影空間上で三重項損失と識別分類損失を併用することで、分類器を推論時に破棄する従来手法に比べ顕著な性能向上を達成する。ProNet++は、複数のベンチマークでトランスフォーマーに基づくモデルを上回る性能を発揮する。

ABSTRACT

Person Re-IDentification (Re-ID) as a retrieval task, has achieved tremendous development over the past decade. Existing state-of-the-art methods follow an analogous framework to first extract features from the input images and then categorize them with a classifier. However, since there is no identity overlap between training and testing sets, the classifier is often discarded during inference. Only the extracted features are used for person retrieval via distance metrics. In this paper, we rethink the role of the classifier in person Re-ID, and advocate a new perspective to conceive the classifier as a projection from image features to class prototypes. These prototypes are exactly the learned parameters of the classifier. In this light, we describe the identity of input images as similarities to all prototypes, which are then utilized as more discriminative features to perform person Re-ID. We thereby propose a new baseline ProNet, which innovatively reserves the function of the classifier at the inference stage. To facilitate the learning of class prototypes, both triplet loss and identity classification loss are applied to features that undergo the projection by the classifier. An improved version of ProNet++ is presented by further incorporating multi-granularity designs. Experiments on four benchmarks demonstrate that our proposed ProNet is simple yet effective, and significantly beats previous baselines. ProNet++ also achieves competitive or even better results than transformer-based competitors.

研究の動機と目的

• トレーニングと推論の間のギャップ、特に識別に有用な情報が含まれるにもかかわらず推論時に破棄される分類器の問題を解決すること。
• 分類器を画像特徴からクラスプロトタイプへの射影メカニズムとして再定式化し、より優れた識別表現を得ること。
• 推論時に分類器を保持することで、特徴の識別性とリtrieval性能が向上することを示すこと。
• 重いアーキテクチャや補助データを用いずに、単純だが効果的なベースラインを確立すること。

提案手法

• 分類器が学習した重みをクラスプロトタイプとして解釈し、画像特徴からプロトタイプ空間への特徴射影を可能にする。
• 画像特徴をこれらのプロトタイプに射影し、全プロトタイプとの類似度が得られ、Re-IDに適したより識別性の高い表現が得られる。
• 射影された特徴に対して三重項損失と識別分類損失を適用し、プロトタイプとその識別力の両方を共同最適化する。
• ResNet-50バックボーンに単一の全結合層を分類器として統合し、ProNetベースラインを構築する。
• PCBのインスパイアを受けてマルチグレインの特徴学習を組み込んだ、より高性能な拡張版であるProNet++を導入する。
• このフレームワークにより、プロトタイプ射影特徴上でメトリクス学習と分類の監視をエンドツーエンドで訓練可能となる。

実験結果

リサーチクエスチョン

• RQ1 推論時に分類器を保持することで、学習済みのクラスプロトタイプを活用し、人物再識別性能を向上させられるか？
• RQ2 クラスプロトタイプに特徴を射影することで、標準的な特徴抽出と比較して、識別性の高い特徴学習がどのように向上するか？
• RQ3 分類器の保持を含む単純なモデルが、トランスフォーマーに基づく複雑なアーキテクチャを上回れるか？
• RQ4 生の特徴ではなく、射影された特徴に三重項損失と分類損失を適用することで、どのような影響が生じるか？

主な発見

• 従来の手法が推論時に分類器を破棄するのに対し、ProNetはMarket-1501で+2.6% mAP、CUHK03で+13.5% mAPの向上を達成した。
• t-SNE可視化により、クラスプロトタイプに射影された特徴空間は、クラス内コンパクト性とクラス間分離性の両面で顕著に優れていることが確認された。
• トップ10リtrieval結果では、ProNet++が視点やポーズの大きな変化がある困難なサンプルをより正しく検索し、視覚的に類似したが異なる個体からの誤検出も減少させた。
• ProNet++は、アテンション機構を備えていないにもかかわらず、TransReIDを含む最先端のトランスフォーマーに基づくモデルと同等またはそれ以上の性能を発揮した。
• 射影された特徴に三重項損失と分類損失を併用することで、より効果的で頑健なクラスプロトタイプが得られ、一般化性能と識別性が向上した。