[論文レビュー] Unifying Specialist Image Embedding into Universal Image Embedding

Yang Feng, Futang Peng+8 more|arXiv (Cornell University)|Mar 8, 2020

Advanced Image and Video Retrieval Techniques参考文献 31被引用数 5

ひとこと要約

本論文は、複数の専門家画像埋め込みモデルを統合し、それぞれのドメインで専門家モデルと同等の性能を示す単一のユニバーサル画像埋め込みモデルを構築する、新しい知識蒸留手法を提案する。相互間の画像距離を確率的分布に変換し、専門家モデルとユニバーサルモデルの分布間のKLダイバージェンスを最小化することで、過学習を回避し、細分化された鳥類や自動車認識、一般のImageNetを含む多様な画像ドメインで最先端の性能を達成する。

ABSTRACT

Deep image embedding provides a way to measure the semantic similarity of two images. It plays a central role in many applications such as image search, face verification, and zero-shot learning. It is desirable to have a universal deep embedding model applicable to various domains of images. However, existing methods mainly rely on training specialist embedding models each of which is applicable to images from a single domain. In this paper, we study an important but unexplored task: how to train a single universal image embedding model to match the performance of several specialists on each specialist's domain. Simply fusing the training data from multiple domains cannot solve this problem because some domains become overfitted sooner when trained together using existing methods. Therefore, we propose to distill the knowledge in multiple specialists into a universal embedding to solve this problem. In contrast to existing embedding distillation methods that distill the absolute distances between images, we transform the absolute distances between images into a probabilistic distribution and minimize the KL-divergence between the distributions of the specialists and the universal embedding. Using several public datasets, we validate that our proposed method accomplishes the goal of universal image embedding.

研究の動機と目的

• それぞれのドメインで専門家モデルと同等の性能を示すユニバーサル画像埋め込みモデルの開発。
• 統合された多ドメインデータ上で単一のモデルを学習する際の早期過学習の課題の解決。
• ドメインの不均衡や効果のないサンプリングによって性能が低下する直接的なデータ統合の限界の克服。
• 単一の埋め込みモデルを多様な応用に展開可能とし、ストレージおよび計算のオーバーヘッドを削減。
• 粗粒度および細粒度の画像ドメインを性能の損失なしに統合し、特に細粒度のリtrievalタスクで優れた性能を発揮。

提案手法

• 複数の事前学習済み専門家埋め込みモデルから、確率的蒸留フレームワークを用いて知識をユニバーサルモデルに蒸留する。
• t-SNEにインspiredな技術を用いて、絶対的な画像間距離を確率的分布に変換し、ドメイン間のスケール差を正規化する。
• 専門家モデルとユニバーサルモデルの距離の確率的分布間のKLダイバージェンスを最小化する。
• 特に粗粒度と細粒度のドメインを統合する際の距離収縮問題に対処するため、SNEベースの蒸留（SND）の修正版を適用する。
• 特にリソースが限られたドメインを十分に表現できるよう、ドメインバランスの取れたサンプリングを訓練中に適用する。
• 一般のImageNetデータに対しては三重損失を、専門家データに対しては蒸留ベースの損失を用いてユニバーサルモデルを訓練し、ドメイン全体にわたる頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 単一のユニバーサル画像埋め込みモデルが、それぞれのドメインで専門家モデルと同等の性能を達成できるか？
• RQ2 複数のドメインを単純に統合した場合、なぜ専門家モデルの性能に匹敵するユニバーサルモデルが得られないのか？
• RQ3 ドメインの不均衡や過学習を回避しながら、複数の専門家モデルからの知識をユニバーサルモデルに効果的に転送する方法は何か？
• RQ4 異なるスケールと粒度を持つドメイン間で、確率的距離分布を用いて埋め込みを統合できるか？
• RQ5 提案手法の蒸留法は、統合データへの直接学習や連結ベースのベースラインを上回る性能を示すか？

主な発見

• 提案手法は、ImageNetと細粒度データセットを統合する際、CUB200-2011で69.5のRecall@1、CARS196で72.3のRecall@1を達成し、ImageNet専門家モデルを20ポイント以上上回った。
• CUB200-2011、CARS196、In-shopの3つのデータセットを統合した場合、ユニバーサルモデルはそれぞれ63.0、80.1、85.4のRecall@1を達成し、個々の専門家モデルと同等の性能を示した。
• Ours_SNDバージョンは、Ours_RKDを上回り、CARS196で72.3のRecall@1、CUB200-2011で69.5のRecall@1を達成し、距離収縮の処理が優れていることを示した。
• 蒸留を用いて訓練されたユニバーサルモデルは、計算量が増加しても、連結ベースラインやエンドツーエンドの三重損失学習による統合データ学習を上回る性能を示した。
• 訓練過程におけるすべてのデータセットで安定した性能曲線が得られたことから、多ドメイン学習における早期過学習が効果的に緩和されたことが裏付けられた。
• Multi-Similarityで学習された専門家モデルからの成功した蒸留が示され、本手法が異なる専門家学習手法に一般化可能であることが確認された。