[論文レビュー] Embedding Transfer with Label Relaxation for Improved Metric Learning

Sung‐Yeon Kim, Dong-Won Kim+2 more|arXiv (Cornell University)|Mar 27, 2021

Domain Adaptation and Few-Shot Learning参考文献 56被引用数 5

ひとこと要約

本論文は、ソース埋め込み空間内のペアワイズ類似度を緩和ラベルとして活用し、緩和コントラスト損失を介してターゲットモデルを訓練する、新しい埋め込み転送手法を提案する。詳細なサンプル間関係を組み込み、重要度の高いペアに注目することで、メトリクス学習性能を顕著に向上させるとともに、モデルサイズと次元数を削減し、自己教師あり学習および分類モデルの性能を従来手法を上回る。

ABSTRACT

This paper presents a novel method for embedding transfer, a task of transferring knowledge of a learned embedding model to another. Our method exploits pairwise similarities between samples in the source embedding space as the knowledge, and transfers them through a loss used for learning target embedding models. To this end, we design a new loss called relaxed contrastive loss, which employs the pairwise similarities as relaxed labels for inter-sample relations. Our loss provides a rich supervisory signal beyond class equivalence, enables more important pairs to contribute more to training, and imposes no restriction on manifolds of target embedding spaces. Experiments on metric learning benchmarks demonstrate that our method largely improves performance, or reduces sizes and output dimensions of target models effectively. We further show that it can be also used to enhance quality of self-supervised representation and performance of classification models. In all the experiments, our method clearly outperforms existing embedding transfer techniques.

研究の動機と目的

• 事前学習済みソース埋め込みモデルからターゲットモデルへの知識転送により、メトリクス学習性能を向上させること。
• 従来の埋め込み転送手法がすべてのサンプルを同等に扱うか、二値分類ラベルのみを用いるという制限を克服すること。
• 豊富で連続的なペアワイズ類似度を指導信号として活用することで、メトリクス学習における効果的な知識蒸留を可能にすること。
• 顕著な性能低下を伴わずに、ターゲットモデルのサイズと埋め込み次元数を削減すること。
• 自己教師あり表現および分類モデルの向上を通じて、本手法の普遍性を示すこと。

提案手法

• 本手法は、ソース空間におけるサンプル間のペアワイズ類似度を抽出することで、ソース埋め込みモデルからの知識転送を実現する。
• これらペアワイズ類似度を「緩和ラベル」として用いる、緩和コントラスト損失を導入し、ターゲットモデルの学習をガイドする。
• 類似度値に応じて、正例ペアと負例ペアの最適化強度を動的に調整することで、より重要なペアがより大きな寄与を果たせるようにする。
• 標準のコントラスト損失とは異なり、ターゲット埋め込み空間の $\ell_2$ 正規化を必要としないため、埋め込み次元のより柔軟かつ効率的な利用が可能になる。
• 標準の学習プロトコルと互換性を持つように設計されており、ソースモデルと同一の最適化手法および学習率スケジュールが使用可能である。
• 本手法は、メトリクス学習、自己教師あり表現学習、分類用の知識蒸留の3つの設定に適用可能である。

Figure 1: Accuracy in Recall@1 on the three standard benchmarks for deep metric learning. All embedding transfer methods adopt Proxy-Anchor (PA) [ 19 ] with 512 dimension as the source model. Our method achieves the state of the art when embedding dimension is 512, and is as competitive as recent me

実験結果

リサーチクエスチョン

• RQ1 ソース埋め込み空間におけるペアワイズ類似度は、二値分類ラベルに比べて、埋め込み転送のためのより豊かな指導信号として機能するか？
• RQ2 より意味論的に重要なサンプルペアに注目することで、メトリクス学習におけるターゲットモデル性能が向上するか？
• RQ3 緩和コントラスト損失は、ターゲット埋め込み空間の多様体を制約しない形で、知識を効果的に転送できるか？
• RQ4 本手法は、性能を維持または向上させつつ、どの程度まで埋め込みモデルを圧縮できるか？
• RQ5 本手法は、メトリクス学習タスクを超えて、自己教師あり学習および分類モデルの性能向上を実現できるか？

主な発見

• 標準的なメトリクス学習ベンチマークにおいて、本手法は512次元埋め込みで最先端の性能を達成し、従来の転送技術を上回った。
• モデル圧縮（例：ResNet56からResNet20）の状況でも、本手法はモデルサイズと埋め込み次元数を削減しながら、性能低下はほとんど認めなかった。
• 自己教師あり学習では、CIFAR-10で線形評価精度93.9、STL-10で89.6を達成し、PKTおよびRKDを上回った。
• CIFAR-100における分類モデル蒸留では、ResNet20で71.95%の精度を達成し、CRDおよびHKDを上回った。
• 本手法は、メトリクス学習、自己教師あり学習、分類のすべての評価設定において、従来の埋め込み転送手法を一貫して上回った。
• 緩和コントラスト損失により、$\ell_2$ 正規化を要しない形で効果的な知識転送が可能となり、埋め込み次元のより良い活用が実現された。

Figure 2: Gradients of relaxed contrastive loss versus pairwise distance given different weights.