[論文レビュー] Sampling Matters in Deep Embedding Learning

Chao-Yuan Wu, R. Manmatha+2 more|arXiv (Cornell University)|Jun 23, 2017

Face recognition and analysis参考文献 38被引用数 85

ひとこと要約

本論文は、深層埋め込み学習におけるサンプル選択が損失設計と同様に重要であると主張し、距離重み付きサンプリングとマージンベースの損失を導入。これらは複数のベンチマークで最先端の結果を達成。

ABSTRACT

Deep embeddings answer one simple question: How similar are two images? Learning these embeddings is the bedrock of verification, zero-shot learning, and visual search. The most prominent approaches optimize a deep convolutional network with a suitable loss function, such as contrastive loss or triplet loss. While a rich line of work focuses solely on the loss functions, we show in this paper that selecting training examples plays an equally important role. We propose distance weighted sampling, which selects more informative and stable examples than traditional approaches. In addition, we show that a simple margin based loss is sufficient to outperform all other loss functions. We evaluate our approach on the Stanford Online Products, CAR196, and the CUB200-2011 datasets for image retrieval and clustering, and on the LFW dataset for face verification. Our method achieves state-of-the-art performance on all of them.

研究の動機と目的

• 深層埋め込み学習におけるサンプル選択の重要性を、損失設計と併せて動機づける。
• 既存のサンプリング戦略とそれらが埋め込み品質に与える影響を分析する。
• 勾配の分散を低減し訓練を安定化させるための距離重み付きサンプリングを提案する。
• データの幾何に適応し頑健性を向上させるマージンベースの損失を導入する。
• 標準的な埋め込みベンチマーク全体で最先端の性能を示す。

提案手法

• 距離 D_ij を埋め込み f(x_i) と f(x_j) のユークリッド距離として定義する。
• 距離の逆数に比例する確率（安定性のためにクリップ）を用いてネガティブを選択する距離重み付きサンプリングを提案する。
• クラスと画像に特異的な beta 項と beta パラメータの nu 正則化を含む、シンプルなマージンベースの損失 ell^margin(i,j) = (alpha + y_ij (D_ij - beta))_+ を導入する。
• マージンベースの損失が制約を緩和し、距離の相対順序に焦点を当てることを示す。距離の等温回帰（ isotonic regression）に類似する。
• 標準データセット上で、サンプリング戦略（ランダム、ハード/セミハードマイニング）と損失（コントラスト、トリプレット、マージン）を実証的に比較する。
• 勾配分散とサンプル距離の関連性を分析し、距離重み付きサンプリングが高分散の勾配を軽減する方法を示す。

実験結果

リサーチクエスチョン

• RQ1 深層埋め込み学習において、サンプリング戦略は異なる埋め込み損失（コントラスト、トリプレット、マージン）の効果にどう影響するか？
• RQ2 距離重み付きサンプリング手法は訓練の安定性とデータセット全体の最終埋め込み品質を改善できるか？
• RQ3 適応境界を持つマージンベースの損失は、従来のペアワイズ/トリプレット損失より頑健性と性能向上を提供するか？
• RQ4 サンプリングの選択は収束速度および検索/クラスタリング/検証性能にどの程度影響するか？

主な発見

• 距離重み付きサンプリングは、従来のサンプリングよりも情報量があり安定したネガティブを提供し、勾配分散を低減し埋め込み品質を向上させる。
• 適応境界 beta を持つシンプルなマージンベースの損失は、複数のデータセットとサンプリング方式で従来の損失を上回る。
• 距離重み付きサンプリングとマージンベースの損失の組み合わせは、 Stanford Online Products、CARS196、CUB200-2011 における検索とクラスタリングで最先端の結果を達成し、LFW の検証性能を向上させる。
• クラス-および画像特異の beta 項と等温回帰風の挙動を持つマージンベースの損失は、固定マージンを強制するのではなく正しい相対順序を維持することに焦点を当てる。
• 提案手法は、評価された設定の多くでトリプレット半難度マイニングやコントラスト学習のランダムサンプリングよりも、より速く安定して収束する。