[論文レビュー] In Defense of the Triplet Loss for Person Re-Identification

Alexander Hermans, Lucas Beyer+1 more|arXiv (Cornell University)|Mar 22, 2017

Video Surveillance and Tracking Methods参考文献 13被引用数 2,885

ひとこと要約

本論文は、end-to-end のメトリック学習を、トリプレット損失の変種（バッチ・ハード with soft margin）を用いて提案し、Market-1501、MARS、CUHK03 で最先端の結果を達成すること、さらにゼロからのトレーニングも含むことを示している。

ABSTRACT

In the past few years, the field of computer vision has gone through a revolution fueled mainly by the advent of large datasets and the adoption of deep convolutional neural networks for end-to-end learning. The person re-identification subfield is no exception to this. Unfortunately, a prevailing belief in the community seems to be that the triplet loss is inferior to using surrogate losses (classification, verification) followed by a separate metric learning step. We show that, for models trained from scratch as well as pretrained ones, using a variant of the triplet loss to perform end-to-end deep metric learning outperforms most other published methods by a large margin.

研究の動機と目的

• 再識別（ReID）におけるトリプレット損失を競合するサロゲート損失と比較して再評価することを動機づける。
• expensive offline hard negative mining の必要性をなくすバッチ・ハード triplet loss バリアントを提案する。
• 事前学習済みネットワークとゼロからのネットワークの両方でエンドツーエンドの学習効果を実証する。
• 設計の良いトリプレット損失が、主要な ReID データセットの多くの公開手法を凌駕し得ることを示す。

提案手法

• メトリック埋め込み損失（LLMNN を含む）とトリプレット損失の検討と文脈化。
• Batch Hard (LBH) および Batch All (LBA) の定式化を導入し、バッチ内のハード・マイニングを強調する。
• 安定性のためのバッチ・ハード損失のソフトマージン版を提案。
• MARS ベースの検証セットで、さまざまなトリプレット定式化（バニラ、Lifted、ソフトマージン変種）を比較。
• 埋め込み空間でのユークリッド距離を使用し、埋め込み正規化を回避。
• 事前学習済み（TriNet）とゼロから学習（LuNet）を用いて Market-1501、MARS、CUHK03 を評価。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのトリプレット損失ベースのメトリック学習は、追加のメトリック学習ステップを要するサロゲート損失を人の ReID で上回ることができるか。
• RQ2 小さな PK バッチ内のバッチ・ハード・マイニングは、オフラインのハードネガティブ・マイニングの高コストを排除できるか。
• RQ3 ReID パフォーマンスに対する、異なるトリプレット損失定式化（バッチ・ハード/ソフトマージン、バッチ・オール、Lifted）はどう比較されるか。
• RQ4 プリトレイン済みとゼロからの学習の両方が、トリプレット損失を用いた ReID パフォーマンスにどのような影響を与えるか。
• RQ5 マージンなしまたはソフトマージンの定式化は、安定で強力な ReID 埋め込みに好ましいか。

主な発見

• バッチ・ハード・トリプレット損失とソフトマージンは、Market-1501、MARS で最先端の結果を達成し、テスト時データ拡張と組み合わせると CUHK03 で競争力のある性能を示す。
• バッチ・ハードは実験上、オフラインのハード・マイニングのオーバーヘッドを排除しつつ、バッチ・オールおよびバニラのトリプレット定式化を一貫して上回る。
• ソフトマージン版はさらに結果を改善し、学習の不安定性を低減する。
• 事前学習済みネットワーク（TriNet）の結果が最も強いが、ゼロから学習した良設計のネットワーク（LuNet）も競合的であり、エンドツーエンドのトリプレット学習が大規模な事前学習バックボーンなしでも機能することを示す。
• この著者らのバッチ・ハード・トリプレット損失とエンドツーエンドの埋め込み学習を用いた訓練は、分類損失ベース（IDE）とメトリック学習を組み合わせたベースラインより顕著な利得を生み、トリプレットアプローチの有効性を強調する。
• テスト時のデータ拡張と追加的な distractor 画像を評価時に用いても、性能向上が持続する。