[論文レビュー] S2SD: Simultaneous Similarity-based Self-Distillation for Deep Metric Learning

Karsten Roth, Timo Milbich+3 more|arXiv (Cornell University)|Sep 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 70被引用数 4

ひとこと要約

S2SDは、高次元の補助埋め込み空間を同時に学習し、その類似性知識を低次元の基本埋め込み空間に自己蒸留する、深層度量学習のための新規な自己蒸留フレームワークを提案する。この手法により、推論コストを増加させることなく一般化性能が向上し、標準ベンチマーク上でのRecall@1で最大7%の相対的改善を達成し、最小限の訓練オーバーヘッドで新たな最先端性能を樹立した。

ABSTRACT

Deep Metric Learning (DML) provides a crucial tool for visual similarity and zero-shot applications by learning generalizing embedding spaces, although recent work in DML has shown strong performance saturation across training objectives. However, generalization capacity is known to scale with the embedding space dimensionality. Unfortunately, high dimensional embeddings also create higher retrieval cost for downstream applications. To remedy this, we propose \emph{Simultaneous Similarity-based Self-distillation (S2SD). S2SD extends DML with knowledge distillation from auxiliary, high-dimensional embedding and feature spaces to leverage complementary context during training while retaining test-time cost and with negligible changes to the training time. Experiments and ablations across different objectives and standard benchmarks show S2SD offers notable improvements of up to 7% in Recall@1, while also setting a new state-of-the-art. Code available at https://github.com/MLforHealth/S2SD.

研究の動機と目的

• 高いモデル容量にもかかわらず性能の飽和が生じる深層度量学習の問題に対処すること。
• テスト時の検索コストを増加させることなく、低次元埋め込み空間における一般化性能を向上させること。
• 外部の教師モデルを必要とせず、高次元補助表現を用いて知識蒸留を実現すること。
• 補助的コンテキストとしての高次元特徴から得られる情報を活用し、効率的で単一段階の訓練によって基本モデルの性能を向上させること。
• 拡大スケールの蒸留と階層的知識移行を用いて、表現学習を強化すること。

提案手法

• 共有された特徴バックボーンを用いて、基本埋め込み空間と並列に高次元補助埋め込み空間を学習する同時訓練設定を導入する。
• 高次元補助空間の類似性関係を低次元基本空間に移すことで、知識蒸留を実施する。
• 補助空間と基本空間におけるペアのサンプル間の相対的類似性順位（例：KLダイバージェンスを用いて）に基づく蒸留損失を用いる。
• 複数の蒸留ブランチを異なる次元で設けることで、スケールにわたる知識移行を可能にし、特徴の再利用性を向上させる。
• バックプロパゲーション中に勾配干渉を防ぐために、分離可能な補助ブランチを実装する。
• 特徴バックボーンと基本埋め込み空間との間の蒸留を統合することで、特徴の利用効率と表現品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 高次元補助表現は、深層度量学習における低次元基本埋め込みの一般化性能を向上させることができるか？
• RQ2 外部教師モデルを用いた標準的な蒸留と比較して、補助埋め込み空間からの同時自己蒸留は、より優れた性能をもたらすか？
• RQ3 蒸留目的（例：R-KL、コサイン類似度、ユークリッド距離）の選定が、性能と安定性に与える影響は何か？
• RQ4 効果的な知識移行を実現するための補助ネットワークの最適な深さと幅は何か？
• RQ5 初期の特徴層か、後段の特徴層からの蒸留がより優れた性能をもたらすか？また、ネットワークの深さに応じてその差はどのように変化するか？

主な発見

• S2SDは、CUB200-2011でRecall@1に7%の相対的改善を達成し、先行する最先端手法を顕著に上回った。
• CARS196では、ベースライン手法と比較してRecall@1が最大2.2%向上し、特に低次元設定で顕著な向上が見られた。
• S2SDは、CUB200-2011、CARS196、Stanford Online Productsの3つのベンチマークすべてで、新たな最先端性能を樹立した。
• 高次元補助ブランチ（例：2048次元）からの蒸留が、低次元からのものよりも優れた性能をもたらし、2048次元で最適な向上が得られた。
• 複数のブランチ（例：#B=4）を用いたスケールにわたる蒸留は、単一ブランチ蒸留よりも0.2%の性能向上をもたらし、多様な表現からの利益が示された。
• 分離可能な補助ブランチは、非分離型（65.34% R@1）と比較して優れた結果（66.96% R@1）をもたらし、勾配分離の重要性を裏付けた。