[論文レビュー] Multi-Similarity Loss with General Pair Weighting for Deep Metric Learning

Xun Wang, Xintong Han+3 more|arXiv (Cornell University)|Apr 14, 2019

Advanced Image and Video Retrieval Techniques参考文献 6被引用数 105

ひとこと要約

この論文は、ペアベースの深層計量学習の General Pair Weighting (GPW) フレームワークを導入し、Self-, Positive-relative, Negative-relative の三種類の類似性を同時に用いて情報量の多いペアをマイニング・ウェイト付けする Multi-Similarity (MS) 損失を提案します。これにより、画像検索のいくつかのベンチマークで新たな最先端の結果を達成します。

ABSTRACT

A family of loss functions built on pair-based computation have been proposed in the literature which provide a myriad of solutions for deep metric learning. In this paper, we provide a general weighting framework for understanding recent pair-based loss functions. Our contributions are three-fold: (1) we establish a General Pair Weighting (GPW) framework, which casts the sampling problem of deep metric learning into a unified view of pair weighting through gradient analysis, providing a powerful tool for understanding recent pair-based loss functions; (2) we show that with GPW, various existing pair-based methods can be compared and discussed comprehensively, with clear differences and key limitations identified; (3) we propose a new loss called multi-similarity loss (MS loss) under the GPW, which is implemented in two iterative steps (i.e., mining and weighting). This allows it to fully consider three similarities for pair weighting, providing a more principled approach for collecting and weighting informative pairs. Finally, the proposed MS loss obtains new state-of-the-art performance on four image retrieval benchmarks, where it outperforms the most recent approaches, such as ABE\cite{Kim_2018_ECCV} and HTL by a large margin: 60.6% to 65.7% on CUB200, and 80.9% to 88.0% on In-Shop Clothes Retrieval dataset at Recall@1. Code is available at https://github.com/MalongTech/research-ms-loss.

研究の動機と目的

• 勾配分析を通じて深層計量学習のサンプリング問題を一般的なペアウェイトフレームワーク (GPW) にキャストする。
• GPW を用いて既存のペアベースの損失を分析・比較し、主要な類似点と限界を特定する。
• 三種類の類似性（Self、Positive-relative、Negative-relative）を用いたペアウェイティングを実現する二段階の MS 損失（マイニングとウェイティング）を提案する。
• 標準的なベンチマーク（CUB200、Cars-196、SOP、In-Shop）で最先端の画像検索性能を示す。

提案手法

• GPW を定義して、ペアベースの損失を単位球 embedding 上のペアwise 類似性の加重和として表現する。
• 三種類のペア類似性を同定する：Self-similarity (S)、Positive-relative similarity (P)、Negative-relative similarity (N)。
• 二段階の MS 損失を提案する： (i) Similarity-P に基づく有益なペアのマイニング、 (ii) マイニングしたペアを Similarity-S および Similarity-N を用いてウェイト付けする（式 (13) および (14)）。
• MS 損失の定式化（式 (Eq. 15)）は、マイニングと正例および負例のウェットペナルティを組み合わせる。
• 頑健なウェイト付けのため、二つのハイパーパラメータ化されたウェイト成分を、二項開 devi ance および lifted structure の概念から導出する。
• Inception バックボーンを用いたエンドツーエンドの PyTorch 実装で、四つのデータセット（CUB200、Cars-196、SOP、In-Shop）に対して MS 損失を評価する。

実験結果

リサーチクエスチョン

• RQ1 General Pair Weighting (GPW) フレームワークが既存のペアベースの損失を説明し、その限界を明らかにすることはできるか。
• RQ2 多視点の類似性（Self、Positive-relative、Negative-relative）は、深層計量学習におけるサンプリングペアの情報量を改善するか。
• RQ3 提案する Multi-Similarity (MS) 損失は、標準の画像検索ベンチマークで既存のペアベース損失を上回るか。
• RQ4 MS におけるマイニングとウェイト付けの統合は、個々の成分や従来の損失の単純な組み合わせと比べてどうか。

主な発見

• MS 損失と GPW は、いくつかの画像検索ベンチマークで最先端の性能を達成した。
• CUB200 では、MS 損失は最近の手法（ABE）より Recall@1 をおよそ5ポイント改善。
• In-Shop では、MS 損失が HTL に対して Recall@1 で約7ポイントの改善を達成し、Recall@1 の大きな利益（例：80.9% から 88.0%）を示す。
• 埋め込みサイズが 128–512 の範囲で、MS 損失は一貫してベースラインおよび同等手法を上回り、SOP、CUB200、Cars-196、In-Shop データセット全体で性能向上を示す。
• アブレーション研究により、マイニングとウェイト付けに Similarity-S、Similarity-P、Similarity-N を組み込むと最良の Recall@K を達成し、部分的な類似性のみを使用するバリアントより優れていた。
• MS 損失は埋込み次元が増加しても効果が持続し、512 次元までは利益が大きく、以降は収益が頭打ちとなる。