[論文レビュー] Rethinking Classification Loss Designs for Person Re-identification with a Unified View.

Zhizheng Zhang, Cuiling Lan+3 more|arXiv (Cornell University)|Jun 8, 2020

Video Surveillance and Tracking Methods参考文献 9被引用数 4

ひとこと要約

本論文は、人物再識別（ReID）における分類損失とトリプレット損失の統一的視点を提案し、トリプレット学習を2クラスのサブサンプリング分類として定式化する。マルチクラスサブサンプリング分類と、新しいメタプロトタイプNタプル損失を導入することで、標準的なReIDベンチマークで最先端の性能を達成した。これは、より広いクラスサンプリングによる訓練と推論の一致が、特徴の区別能を顕著に向上させることを示している。

ABSTRACT

Person Re-identification (ReID) aims at matching a person of interest across images. In convolutional neural networks (CNNs) based approaches, loss design plays a role of metric learning which guides the feature learning process to pull closer features of the same identity and to push far apart features of different identities. In recent years, the combination of classification loss and triplet loss achieves superior performance and is predominant in ReID. In this paper, we rethink these loss functions within a generalized formulation and argue that triplet-based optimization can be viewed as a two-class subsampling classification, which performs classification over two sampled categories based on instance similarities. Furthermore, we present a case study which demonstrates that increasing the number of simultaneously considered instance classes significantly improves the ReID performance, since it is aligned better with the ReID test/inference process. With the multi-class subsampling classification incorporated, we provide a strong baseline which achieves the state-of-the-art performance on the benchmark person ReID datasets. Finally, we propose a new meta prototypical N-tuple loss for more efficient multi-class subsampling classification. We aim to inspire more new loss designs in the person ReID field.

研究の動機と目的

• 一般化された損失定式化の枠組み内で、トリプレットベースの最適化を2クラスのサブサンプリング分類問題に再定式化すること。
• 同時に考慮されるインスタンスクラスの数を増やすことでReID性能が向上するかどうかを調査すること。
• ReID推論とよりよく整合するマルチクラスサブサンプリング分類を用いた強力なベースラインを開発すること。
• スケーラブルなマルチクラスサブサンプリングを可能にする効率的なメタプロトタイプNタプル損失を提案すること。
• より広いクラスサンプリングの利点を示すことで、人物再識別における新たな損失設計を刺激すること。

提案手法

• インスタンス類似度に基づいて、トリプレット損失を2クラスのサブサンプリング分類タスクに再定式化すること。
• 訓練中に2つ以上のアイデンティティを同時に考慮できるように、マルチクラスサブサンプリング分類を導入すること。
• プロトタイプ学習フレームワーク内で複数のクラスを効率的にサンプリング・最適化できるメタプロトタイプNタプル損失を設計すること。
• 分類損失とトリプレットベース最適化を共通の原則の下に統一するため、統一された損失定式化を用いること。
• エンド・トゥ・エンドのバックプロパゲーションを用いて、モデルを訓練し、クラス内コンパクト性とクラス間分離性を最適化すること。
• 実世界のReIDマッチングシナリオを模倣するために、訓練時により多くのクラスをサンプリングすることで、訓練目的を推論プロセスと一致させること。

実験結果

リサーチクエスチョン

• RQ1 トリプレットベースの最適化を、2クラスのサブサンプリング分類の一種として意味的に再解釈できるか？
• RQ2 訓練中に同時に考慮されるクラス数を増やすことで、ReID性能が向上するか？
• RQ3 マルチクラスサブサンプリング分類は、標準的な分類損失やトリプレット損失と比較して、特徴の質や精度においてどのように異なるか？
• RQ4 メタプロトタイプNタプル損失は、ReIDにおけるスケーラブルなマルチクラスサブサンプリングを効率的にサポートできるか？
• RQ5 より広いクラスサンプリングによる訓練と推論の一致が、モデルの一般化性能をどの程度向上させるか？

主な発見

• 提案されたマルチクラスサブサンプリング分類ベースラインは、標準的な人物ReIDベンチマークで最先端の性能を達成した。
• 同時に考慮されるクラス数を増やすことで顕著な性能向上が得られ、これはテスト時のマッチングプロセスとよりよく一致するためである。
• 統一された定式化により、トリプレット損失が2クラスのサブサンプリング分類の特殊ケースであることが明らかになり、理論的明確性が得られた。
• メタプロトタイプNタプル損失は、効率的かつ効果的なマルチクラスサブサンプリングを可能にし、訓練効率と特徴の区別能を向上させた。
• 結果から、損失設計は推論と一致させるべきであり、2クラスサンプリングの優位性を覆す可能性があることが示された。
• 実験的結果は、訓練時に広いクラスサンプリングが、ReIDにおいてより強固で一般化可能な特徴をもたらすことを確認した。