[論文レビュー] Beyond Triplet Loss: Person Re-identification with Fine-grained Difference-aware Pairwise Loss

Yan Cheng, Guansong Pang+3 more|arXiv (Cornell University)|Sep 22, 2020

Video Surveillance and Tracking Methods参考文献 47被引用数 19

ひとこと要約

本稿では、人物再識別における細分化された外見差の特徴を的確に捉えるために、小さな外見差に指数的ペナルティを適用し、大きな差に上限付きペナルティを適用する、新しい細分化差分に敏感な（FIDI）ペairワイズ損失を提案する。この損失関数により、細分化された差を識別するための特徴学習が顕著に向上し、4つのベンチマークデータセットにおいて三重項損失や他の最先端の損失関数を上回る性能を発揮する。さらに、データ効率性の向上も達成している。

ABSTRACT

Person Re-IDentification (ReID) aims at re-identifying persons from different viewpoints across multiple cameras. Capturing the fine-grained appearance differences is often the key to accurate person ReID, because many identities can be differentiated only when looking into these fine-grained differences. However, most state-of-the-art person ReID approaches, typically driven by a triplet loss, fail to effectively learn the fine-grained features as they are focused more on differentiating large appearance differences. To address this issue, we introduce a novel pairwise loss function that enables ReID models to learn the fine-grained features by adaptively enforcing an exponential penalization on the images of small differences and a bounded penalization on the images of large differences. The proposed loss is generic and can be used as a plugin to replace the triplet loss to significantly enhance different types of state-of-the-art approaches. Experimental results on four benchmark datasets show that the proposed loss substantially outperforms a number of popular loss functions by large margins; and it also enables significantly improved data efficiency.

研究の動機と目的

• 人物再識別における三重項損失の細分化された外見差を捉える能力の限界を是正すること。
• 人物間および人物内での小さな差に効果的にペナルティを与える損失関数を開発し、正確な再識別に不可欠な差を強調すること。
• 適応的ペナルティによるより判別力の高い表現学習を通じて、モデル性能とデータ効率性を向上させること。
• アーキテクチャの変更なしに、さまざまな最先端のReIDモデルに容易に統合可能な汎用的で即挿入可能な損失関数の開発

提案手法

• 小さなペアワイズ距離（細分化された差を示す）に指数的ペナルティを適用し、大きな距離には上限付きペナルティを適用する、細分化差分に敏感な（FIDI）ペアワイズ損失を提案する。
• この損失関数は、小さな差に敏感である一方で、大きな差に対して過剰なペナルティを避けるように設計されており、あらゆるスケールの特徴学習をバランスさせる。
• FIDI損失は、ペアワイズ埋め込みの微分可能な関数として定式化されており、標準的なディープラーニングフレームワークを用いたエンドツーエンド学習が可能である。
• FIDI損失は任意のバックボーンネットワークと互換性があり、既存のReIDモデルに三重項損失の代わりに即挿入可能なコンponentsとして利用可能である。
• 性能最適化のため、交差検証を用いてハイパーパrameter α（損失の上限）と β（距離に対する感受性）を調整する。
• 本手法は人物再識別ベンチマークで評価され、さらに車両再識別へと一般化され、汎用性が実証された。

実験結果

リサーチクエスチョン

• RQ1 適応的ペナルティを適用するペアワイズ損失が、三重項損失を超えて人物再識別性能を向上させることができるか？
• RQ2 FIDI損失は、複雑なReIDシナリオにおける細分化された差の特徴学習をどのように向上させるか？
• RQ3 FIDI損失は、三重項損失や他の最先端の損失関数と比較して、どの程度データ効率性を向上させるか？
• RQ4 FIDI損失は、車両再識別などの他のReIDタスクにも効果的に一般化できるか？

主な発見

• VeRi-776およびVehicleIDデータセットにおいて、FIDI損失はベースライン2手法と比較してmAPが1.3%〜2.6%高く、R-1が0.6%〜0.7%高い結果を達成した。
• CUHK03-LおよびCUHK03-Dデータセットでは、FIDI損失は三重項損失に基づくモデルと比較してmAPが2%以上向上した。
• FIDI損失はデータ効率性を顕著に向上させ、少ない訓練サンプルでも優れた性能を発揮できるようにした。
• 可視化結果から、FIDI損失で学習されたモデルは、細分化された変化が生じても同じアイデンティティの画像を正しく順序付けているのに対し、ベースラインモデルは類似する車両を誤って混同していることが明らかになった。
• FIDI損失はハイパーパrameter設定に対して頑健であり、最適な性能は α=1.05 および β=0.5 で達成されたが、範囲にわたって安定した性能を維持していた。
• FIDI損失は車両再識別にも効果的に一般化され、VeRi-776およびVehicleIDデータセットで複数の最先端手法を上回った。