[論文レビュー] Beyond triplet loss: a deep quadruplet network for person re-identification

Weihua Chen, Xiaotang Chen+2 more|arXiv (Cornell University)|Apr 6, 2017

Video Surveillance and Tracking Methods参考文献 23被引用数 114

ひとこと要約

Quadruplet loss を導入し、person re-identification の triplet loss を置換。マージンベースのオンラインハードネガティブマイニングにより、一般化性能を向上させ、CUHK03、CUHK01、および VIPeR データセットで最先端の結果を達成。

ABSTRACT

Person re-identification (ReID) is an important task in wide area video surveillance which focuses on identifying people across different cameras. Recently, deep learning networks with a triplet loss become a common framework for person ReID. However, the triplet loss pays main attentions on obtaining correct orders on the training set. It still suffers from a weaker generalization capability from the training set to the testing set, thus resulting in inferior performance. In this paper, we design a quadruplet loss, which can lead to the model output with a larger inter-class variation and a smaller intra-class variation compared to the triplet loss. As a result, our model has a better generalization ability and can achieve a higher performance on the testing set. In particular, a quadruplet deep network using a margin-based online hard negative mining is proposed based on the quadruplet loss for the person ReID. In extensive experiments, the proposed network outperforms most of the state-of-the-art algorithms on representative datasets which clearly demonstrates the effectiveness of our proposed method.

研究の動機と目的

• 未見のテスト識別子に一般化するための triplet loss の改善を動機付ける。
• クラス間変動を増加し、クラス内変動を低減する quadruplet loss を提案する。
• マージンベースのオンラインハードネガティブマイニングを備えた quadruplet 深層ネットワークを開発。
• quadruplet、triplet、二値分類損失の理論的関係を提供。

提案手法

• トリプレット損失を二つのマージン (alpha1 および alpha2) を用いた quadruplet 損失へ定義・拡張。
• 二項損失を導入: (i) 同じプローブの相対順序（強いプッシュ）および (ii) 異なるプローブの順序（弱い補助制約）。
• 学習距離を [0,1] に出力させるよう、ソフトマックス正規化を用いた二出力全結合層で正規化。
• バッチ分布統計を用いてマージンを適応させるマージンベースのオンラインハードネガティブマイニングを採用。
• SGD の勾配と訓練ルールを提供、適応的マージン alpha1 および alpha2 を含む。
• 設計を正当化するため、quadruplet、triplet、および二値/分類損失の関係を比較。

実験結果

リサーチクエスチョン

• RQ1 標準の triplet loss と比較して、quadruplet loss は ReID における未見識別子への一般化を改善するか？
• RQ2 2 番目の異なるプローブ制約を組み込むことで、クラス間変動を拡大し、クラス内変動を低減するか？
• RQ3 適応的でマージンベースのオンラインハードネガティブマイニングは訓練効率と最終性能にどう影響するか？
• RQ4 ReID における quadruplet 損失、triplet 損失、および二値分類損失の理論的関係は何か？
• RQ5 提案された quadruplet ネットワークは標準的な ReID ベンチマークで最先端の結果を達成するか？

主な発見

• Quadruplet 損失は、 benchmarks データセットで triplet 損失と比較して、クラス内距離を小さく、クラス間距離を大きくする。
• Quadruplet ネットワークは、CUHK03、CUHK01、および VIPeR において single-shot CMC 指標でほとんどの最先端手法を上回る。
• マージンベースのオンラインハードネガティブマイニングは CUHK03 および CUHK01 で rank-n の性能を向上させ、データセット間で効果は異なる。
• このフレームワークは quadruplet loss と二値分類損失の関係を確立し、単純な分類ベースまたは triplet ベースの手法の弱点に対処。
• 実験は quadruplet 訓練下でクラス内距離とクラス間距離の分布が有利に動くことを示し、より良い一般化を示唆。