[論文レビュー] SoftTriple Loss: Deep Metric Learning Without Triplet Sampling

Qi Qian, Lei Shang+4 more|arXiv (Cornell University)|Sep 11, 2019

Face recognition and analysis参考文献 28被引用数 93

ひとこと要約

SoftTriple損失は、クラスごとに複数の中心を用い、滑らかな類似性を利用することでトリプレットサンプリングなしに深いメトリック学習を可能にし、細粒度タスクの埋め込み品質を向上させます。

ABSTRACT

Distance metric learning (DML) is to learn the embeddings where examples from the same class are closer than examples from different classes. It can be cast as an optimization problem with triplet constraints. Due to the vast number of triplet constraints, a sampling strategy is essential for DML. With the tremendous success of deep learning in classifications, it has been applied for DML. When learning embeddings with deep neural networks (DNNs), only a mini-batch of data is available at each iteration. The set of triplet constraints has to be sampled within the mini-batch. Since a mini-batch cannot capture the neighbors in the original set well, it makes the learned embeddings sub-optimal. On the contrary, optimizing SoftMax loss, which is a classification loss, with DNN shows a superior performance in certain DML tasks. It inspires us to investigate the formulation of SoftMax. Our analysis shows that SoftMax loss is equivalent to a smoothed triplet loss where each class has a single center. In real-world data, one class can contain several local clusters rather than a single one, e.g., birds of different poses. Therefore, we propose the SoftTriple loss to extend the SoftMax loss with multiple centers for each class. Compared with conventional deep metric learning algorithms, optimizing SoftTriple loss can learn the embeddings without the sampling phase by mildly increasing the size of the last fully connected layer. Experiments on the benchmark fine-grained data sets demonstrate the effectiveness of the proposed loss function. Code is available at https://github.com/idstcv/SoftTriple

研究の動機と目的

• ミニバッチの制限により、トリプレットサンプリングなしの深いメトリック学習を動機づける。
• SoftMax lossを、クラスごとに1つの中心を持つ滑らかなトリプレット損失として分析する。
• クラス内の分散を捉えるために複数の中心を持つSoftTriple損失を提案する。
• 適応的な中心戦略を開発し、コンパクトな中心集合を維持する。
• 細粒度データセット（CUB-2011、Cars196、SOP）で有効性を示す。

提案手法

• SoftMax損失を、クラス中心を用いた滑らかなトリプレット損失として再定式化する。
• クラスごとに複数の中心に拡張し、中心ごとの最大値の滑らかさを用いてクラス全体の類似度を定義する。
• 中心の最大値に対するエントロピー正則化による滑らかなSoftHardTriple風の損失を得る。
• L2,1正則化を用いた適応的手法を提供し、類似する中心を統合してコンパクトな中心集合を維持する。
• トリプレットサンプリングなしでSoftTriple目的関数をエンドツーエンドで最適化する。
• データセット全体で埋め込みを検索とクラスタリングの指標で評価する。

実験結果

リサーチクエスチョン

• RQ1 SoftMax損失は、中心を用いた滑らかなトリプレット損失として解釈できるか。
• RQ2 クラスごとに複数の中心を導入することで、クラス内分散をより適切にモデル化し、トリプレットサンプリングなしで検索・クラスタリングを改善できるか。
• RQ3 中心の数はどのように選択・正則化すべきか。コンパクトさを保ちつつ性能を維持するには。
• RQ4 SoftTripleは大規模な細粒度データセットに対して、従来のトリプレットベース手法と比べてスケーラブルで効果的か。

主な発見

手法	R@1	R@2	R@4	R@8	NMI
SemiHard	42.6	55.0	66.4	77.2	55.4
LiftedStruct	43.6	56.6	68.6	79.6	56.5
Clustering	48.2	61.4	71.8	81.9	59.2
Npairs ∗	51.0	63.3	74.3	83.2	60.4
ProxyNCA	49.2	61.9	67.9	72.4	59.5
SoftMax norm	57.8	70.0	80.1	87.9	65.3
SoftTriple	60.1	71.9	81.2	88.5	66.2

• SoftMaxノルムはすでに多くのメトリック学習手法を上回っており、その滑らかなトリプレット解釈を示している。
• 複数の中心を活用してSoftMaxノルムを一貫して改善するSoftTriple。
• SoftTripleはCUB-2011、Cars196、SOPで最先端または競争力のある結果を達成し、R@1でしばしばSoftMaxノルムを数ポイント上回る。
• 初期数が大きい中心をL2,1正則化で用いると、コンパクトな中心集合と安定した性能が得られる。
• 大きな埋め込みを用いたSoftTripleは、同等手法より一般的に優れており、例えばCUB-2011とCars196の表で示される。
• このアプローチはサンプリングフェーズを排除しつつ、検索/クラスタリングの性能を維持または向上させる。