[論文レビュー] LEEP: A New Measure to Evaluate Transferability of Learned Representations

Cuong V. Nguyen, Tal Hassner+2 more|arXiv (Cornell University)|Feb 27, 2020

Domain Adaptation and Few-Shot Learning参考文献 59被引用数 65

ひとこと要約

LEEPは、ターゲットデータに対して1回のフォワードパスだけで、ソースモデルからターゲットタスクへの転移性を推定し、転移性能と収束を予測します。NCEおよびHスコアより、実際の転移精度との相関性が高いことを示します。

ABSTRACT

We introduce a new measure to evaluate the transferability of representations learned by classifiers. Our measure, the Log Expected Empirical Prediction (LEEP), is simple and easy to compute: when given a classifier trained on a source data set, it only requires running the target data set through this classifier once. We analyze the properties of LEEP theoretically and demonstrate its effectiveness empirically. Our analysis shows that LEEP can predict the performance and convergence speed of both transfer and meta-transfer learning methods, even for small or imbalanced data. Moreover, LEEP outperforms recently proposed transferability measures such as negative conditional entropy and H scores. Notably, when transferring from ImageNet to CIFAR100, LEEP can achieve up to 30% improvement compared to the best competing method in terms of the correlations with actual transfer accuracy.

研究の動機と目的

• 深い表現の信頼できる低コストな転移性推定の必要性を動機づける。
• ターゲットデータに対してわずか1回のフォワードパスのみを必要とする指標としてLEEPを紹介する。
• LEEPを、最適な転移性能へと関与する理論的特性およびNCEへの関連性を提供する。
• 小規模/不均衡データを含むさまざまな転移・メタ転移シナリオでLEEPを経験的に検証する。
• ソースモデルの選択や収束予測のための実用的有用性を示す。

提案手法

• ソースモデルとターゲットデータから構築された期待経験的予測器(EEP)の平均対数尤度としてLEEPを定義する。
• ターゲットデータをソースモデルで実行してダミーのソースラベル分布を計算する。
• 観測されたターゲットラベルとダミーのソースラベルから経験的条件付きP(y|z)を推定する。
• 転移性スコアとしてT(θ, D) = (1/n) sum_i log(sum_z P(y_i|z) θ(x_i)_z)を計算する。
• LEEPが、最適に再訓練されたモデルの平均対数尤度の下界であることを確立する（仮説空間にEEPを含む場合）。
• LEEPを負の条件エントロピー(NCE)と関連づけ、従来指標と比較して解釈性と計算量を評価する。

実験結果

リサーチクエスチョン

• RQ1 LEEPは、ターゲットタスクの訓練なしで、ヘッド再訓練およびファインチューニングといった一般的な転移学習手法の性能を予測できるか。
• RQ2 LEEPはメタ転移学習性能（例：CNAPs）およびファインチューニングの収束速度と相関するか。
• RQ3 LEEPは、データ規模が小さい・不均衡・ノイズがある場合を含む多様なデータ状況、およびソース/ターゲット対において、NCEおよびHスコアとどう比較されるか。
• RQ4 LEEPは、特定のターゲットタスクに対してどのソースモデルを展開するかの選択に有用か。

主な発見

アルゴリズム	実験設定	相関係数	NCE	H	詳細
LEEP	CIFAR10 -> CIFAR100, Source ResNet20 (pre-trained on CIFAR10)	0.982	0.982	0.831	Sec. 5.1
LEEP	ImageNet -> CIFAR100, Source ResNet18 (pre-trained on ImageNet)	0.974	0.973	0.924	Sec. 5.1
LEEP	CIFAR10 -> CIFAR100, Source ResNet20 (small, balanced)	0.744	0.743	0.877	Sec. 5.2
LEEP	ImageNet -> CIFAR100, Source ResNet18 (small, balanced)	0.798	0.715	0.026 (∗)	Sec. 5.2
LEEP	CIFAR10 -> FashionMNIST, Source ResNet20 (small, balanced)	0.518	0.429	0.787	Sec. 5.2
LEEP	ImageNet -> FashionMNIST, Source ResNet18 (small, balanced)	0.631	0.622	0.005 (∗)	Sec. 5.2
LEEP	CIFAR10 -> CIFAR100, Source ResNet18 (small, balanced, noisy)	0.612	0.579	0.017 (∗)	Sec. 5.2
LEEP	CIFAR10 -> CIFAR100, Source ResNet18 (small, balanced)	0.612?	0.579?	0.017?	Sec. 5.2
LEEP	CIFAR10 -> CIFAR100, Source ResNet20 (small, imbalanced)	0.862	0.847	0.787	Sec. 5.3
LEEP	ImageNet -> CIFAR100, Source ResNet18 (small, imbalanced)	0.522	0.484	-0.058 (∗)	Sec. 5.3
LEEP	CIFAR10 -> FashionMNIST, Source ResNet20 (small, imbalanced)	0.704	0.688	0.822	Sec. 5.3
LEEP	ImageNet -> FashionMNIST, Source ResNet18 (small, imbalanced)	0.645	0.624	0.059 (∗)	Sec. 5.3
LEEP	CIFAR10 -> CIFAR100, Source ResNet18 (large, balanced)	0.967	0.967	0.787	Sec. 5.1
LEEP	ImageNet -> CIFAR100, Source ResNet18 (large, balanced)	0.944	0.945	0.875	Sec. 5.1
LEEP	CIFAR10 -> CIFAR100, Source ResNet20 (small, balanced)	0.396	0.401	0.737	Sec. 5.2
LEEP	ImageNet -> CIFAR100, Source ResNet18 (small, balanced)	0.762	0.584	-0.029 (∗)	Sec. 5.2
LEEP	CIFAR10 -> FashionMNIST, Source ResNet20 (small, balanced)	0.339	0.258	0.826	Sec. 5.2
LEEP	ImageNet -> FashionMNIST, Source ResNet18 (small, balanced)	0.609	0.578	0.018 (∗)	Sec. 5.2
LEEP	ImageNet -> CIFAR100, Source ResNet18 (small, balanced, noisy)	0.348	0.324	0.06 (∗)	Sec. 5.2
LEEP	CIFAR10 -> CIFAR100, Source ResNet20 (small, imbalanced)	0.597	0.582	0.758	Sec. 5.3
LEEP	ImageNet -> CIFAR100, Source ResNet18 (small, imbalanced)	0.522	0.484	-0.058 (∗)	Sec. 5.3
LEEP	CIFAR10 -> FashionMNIST, Source ResNet20 (small, imbalanced)	0.704	0.688	0.822	Sec. 5.3
LEEP	ImageNet -> FashionMNIST, Source ResNet18 (small, imbalanced)	0.645	0.624	0.059 (∗)	Sec. 5.3

• LEEPスコアは、タスクや転移手法を跨いだ転移精度と強い相関を示し、多くの設定でPearson相関係数が0.94を超え、p値は0.001未満。
• LEEPは小規模で不均衡なターゲットデータ条件でも予測力を維持し、ノイズのあるラベルがあっても有効。
• LEEPはファインチューニングの収束をより早く予測し、転移モデルがスクラッチから訓練した参照モデルを上回る時期を示すことができる。
• LEEPはNCEおよびHスコアより多くの比較で上回り、実際の転移精度との相関を最大で約30%改善。
• LEEPはメタ転移学習（CNAPs）の性能指標としても実現可能で、顕著な相関（0.591、p < 0.001）を示す。
• ソースモデル選択において、LEEPベースの推定は多くの設定でNCEやHスコアより転移性能とより良く一致する。