[論文レビュー] Learning Deep Embeddings with Histogram Loss

Evgeniya Ustinova, Victor Lempitsky|arXiv (Cornell University)|Nov 2, 2016

Human Pose and Action Recognition参考文献 30被引用数 260

ひとこと要約

この論文は、ヒストグラムを用いてミニバッチ内の正例と負例の類似度分布を推定し、パラメータフリーのHistogram Lossを提案する。バックプロパゲーションを通じて重なりを最小化し、マージンや閾値を調整せずに複数データセットで競争力のあるまたは優れた性能を達成する。

ABSTRACT

We suggest a loss for learning deep embeddings. The new loss does not introduce parameters that need to be tuned and results in very good embeddings across a range of datasets and problems. The loss is computed by estimating two distribution of similarities for positive (matching) and negative (non-matching) sample pairs, and then computing the probability of a positive pair to have a lower similarity score than a negative pair based on the estimated similarity distributions. We show that such operations can be performed in a simple and piecewise-differentiable manner using 1D histograms with soft assignment operations. This makes the proposed loss suitable for learning deep embeddings using stochastic optimization. In the experiments, the new loss performs favourably compared to recently proposed alternatives.

研究の動機と目的

• チューニング可能なマージンや閾値への依存を最小化する頑健な埋め込み損失を動機付ける。
• 正例と負例の類似度分布を推定するためのヒストグラムに基づく2段階アプローチを提案する。
• ヒストグラムベースの損失を介して埋め込みの微分可能な最適化を可能にする。
• 多様な画像埋め込みデータセットで評価し、最先端の損失と比較して広い適用性を示す。

提案手法

• 1Dヒストグラムによる線形補間を用いて、バッチ内の正例と負例の2つの類似度分布を推定する。
• 推定された分布の積分として、ランダムな負の組み合わせがランダムな正の組み合わせより高い類似度をとる確率を計算する。
• ヒストグラム損失Lを、期待される逆確率として定義し、L = sum_r h^{-}_r phi^{+}_r で計算できるようにする。ここで phi^{+}_r は h^{+} の累積和である。
• ヒストグラムの構築を通じて勾配をバックプロパゲーションし、s_{ij} およびネットワークパラメータに対する勾配を得る。
• ヒストグラムのビン数を唯一の調整可能パラメータとみなし、データに対する感度が低く独立であることを示す。

実験結果

リサーチクエスチョン

• RQ1 パラメーターフリーなヒストグラムベースの損失は、さまざまなデータセットにわたって埋め込み空間で正例と負例を効果的に分離できるか。
• RQ2 ヒストグラムのサイズ（ビン数）とバッチサイズは埋め込み品質と収束にどのような影響を与えるか。
• RQ3 Histogram Lossは標準的な埋め込みベンチマークにおいて最先端のペアワイズおよびトリプレット/クアドリプレット損失を上回るか。
• RQ4 微分可能性と学習効率を維持しつつ、大規模データセットへのスケーラビリティは実現可能か。

主な発見

• Histogram Lossは、CUB-200-2011、Online Products、CUHK03、Market-1501データセットにおいて、Binomial Deviance、LSSS、Triplet損失と比べて競合するRecall@Kを達成する。
• CUHK03とMarket-1501では、Histogram Lossは人物再識別タスクで競合する他の損失を上回る。
• CUB-200-2011とOnline Productsでは、Histogram Lossは最適なBinomial Deviance結果に非常に近づく（適切なCパラメータを使用した場合）。
• Histogram Lossは評価データセットにおいて一貫してlifted structured softmax (LSSS) のトリプレットベースの損失を上回った。
• より大きなバッチサイズ（例: 256）は、複数のデータセットでRecall@Kを一般的に改善する。
• 本手法はヒストグラムビン数と標準の最適化設定（例: ADAM）以外の微調整をほとんど必要としない。