[論文レビュー] Smart Mining for Deep Metric Learning

Ben Harwood, Vijay Kumar B G+3 more|arXiv (Cornell University)|Apr 5, 2017

Face recognition and analysis参考文献 22被引用数 43

ひとこと要約

この論文は、効率的で低コストなサンプリングを用いて困難な正例および負例を効果的に選択することで、三重項損失とグローバル損失を組み合わせるスマートなマイニング手法を提案し、トレーニングの収束を加速する。この手法は、自動的にマイニングハイパーパrameterを調整するための適応型コントローラーを導入しており、CUB-200-2011およびCars196で最先端の性能を達成し、従来の手法よりも高速かつ高精度にトレーニングが可能である。

ABSTRACT

To solve deep metric learning problems and producing feature embeddings, current methodologies will commonly use a triplet model to minimise the relative distance between samples from the same class and maximise the relative distance between samples from different classes. Though successful, the training convergence of this triplet model can be compromised by the fact that the vast majority of the training samples will produce gradients with magnitudes that are close to zero. This issue has motivated the development of methods that explore the global structure of the embedding and other methods that explore hard negative/positive mining. The effectiveness of such mining methods is often associated with intractable computational requirements. In this paper, we propose a novel deep metric learning method that combines the triplet model and the global structure of the embedding space. We rely on a smart mining procedure that produces effective training samples for a low computational cost. In addition, we propose an adaptive controller that automatically adjusts the smart mining hyper-parameters and speeds up the convergence of the training process. We show empirically that our proposed method allows for fast and more accurate training of triplet ConvNets than other competing mining methods. Additionally, we show that our method achieves new state-of-the-art embedding results for CUB-200-2011 and Cars196 datasets.

研究の動機と目的

• 三重項ベースの深部度量学習における収束の遅さ（勾配がほとんどゼロに近い）を解消すること。
• 大規模データセットにおける困難な負例・正例マイニングの高い計算コストを克服すること。
• 三重項損失とグローバル損失関数を組み合わせることで、トレーニングの効率性と埋め込み品質を向上させること。
• 確率的アンダーサンプリングに依存せずに、効果的な困難なサンプルを効率的に特定するスマートなサンプリング戦略を開発すること。
• マイニングハイパーパrameterを自動的に調整する適応型コントローラーを設計し、手動チューニングなしで収束を加速すること。

提案手法

• この手法は、クラス間分離性とクラス内凝集性を促進するために、三重項損失とグローバル構造損失を組み合わせる。
• FANNG（Fast Approximate Nearest Neighbors）を用いて、全トレーニングセットから困難な正例および負例を効率的に探索する。
• スマートマイニングは、各アーキテクチャに対して最も近い正例と、アーキテクチャから正例よりも遠い距離にある最も近い負例を選択し、困難だが学習可能な三重項を保証する。
• 適応型コントローラーはトレーニングのパフォーマンスを監視し、マイニングハイパーパrameterを動的に調整して学習速度を最適化する。
• 重要度サンプリングのヒューリスティクスに依存しないように、全データセットを直接探索することで、確率的アンダーサンプリングを回避する。
• モデルは、三重項損失とグローバル損失の両方を用いてエンドツーエンドバックプロパゲーションでトレーニングされ、頑健な特徴埋め込みが可能になる。

実験結果

リサーチクエスチョン

• RQ1 全トレーニングセットを効率的に探索するスマートマイニングが、三重項ベースの度量学習における確率的重要度サンプリングに置き換え可能か？
• RQ2 三重項損失とグローバル損失を組み合わせることで、埋め込み品質と収束速度が向上するか？
• RQ3 マイニングハイパーパラメータを自動的に調整する適応型コントローラーが、手動チューニングなしでトレーニングを加速できるか？
• RQ4 ベンチマークデータセットにおけるクラスタリングおよびリコール性能の観点から、提案手法は最先端手法と比較してどのように差をつけるか？
• RQ5 スマートマイニングがトレーニング中に使用する困難なサンプルの質と多様性にどのような影響を与えるか？

主な発見

• 提案手法（Triplet + FANNG + Global + Adaptive）は、CUB-200-2011データセットでRecall@1が83.31%を達成し、新たな最先端性能を記録した。
• Cars196データセットでは、Recall@1が90.19%に達し、Semi-hardやN-pairsを含むすべての先行手法を上回った。
• 適応型コントローラーはトレーニング収束を顕著に加速し、トレーニング時間を短縮しながらも、パフォーマンスを維持または向上させた。
• FANNGを用いたスマートマイニングは、半分のハードマイニングを大幅に上回り、体系的な困難なサンプル選択の有効性を示した。
• グローバル損失と三重項損失の組み合わせによりクラスタリング性能が向上し、Cars196ではNMIが58.20から59.50に上昇した。
• 可視化による点検では、ランダムな三重項と比較して、抽出された三重項がより困難だが学習可能である正例および負例を含んでいることが確認された。