[논문 리뷰] LEEP: A New Measure to Evaluate Transferability of Learned Representations

Cuong V. Nguyen, Tal Hassner외 2명|arXiv (Cornell University)|2020. 02. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 59인용 수 65

한 줄 요약

LEEP는 단일 순전파로 소스 모델에서 대상 작업으로의 전이 가능 여부를 예측하고, 대상 학습 없이 전이 성능과 수렴을 예측합니다. 실제 전이 정확도와의 상관에서 NCE와 H 점수보다 더 잘 작용합니다.

ABSTRACT

We introduce a new measure to evaluate the transferability of representations learned by classifiers. Our measure, the Log Expected Empirical Prediction (LEEP), is simple and easy to compute: when given a classifier trained on a source data set, it only requires running the target data set through this classifier once. We analyze the properties of LEEP theoretically and demonstrate its effectiveness empirically. Our analysis shows that LEEP can predict the performance and convergence speed of both transfer and meta-transfer learning methods, even for small or imbalanced data. Moreover, LEEP outperforms recently proposed transferability measures such as negative conditional entropy and H scores. Notably, when transferring from ImageNet to CIFAR100, LEEP can achieve up to 30% improvement compared to the best competing method in terms of the correlations with actual transfer accuracy.

연구 동기 및 목표

• 딥 표현의 신뢰할 수 있고 비용이 저렴한 전이 가능성 추정 필요성 동기 부여.
• 대상 데이터에 단일 순전파만 필요한 척도로 LEEP 도입.
• LEEP가 최적의 재학습 모델의 평균 로그가능도와 NCE와의 이론적 속성 연결.
• 작은/불균형 데이터 포함, 다양한 전이 및 메타-전이 시나리오에서 LEEP를 실증적으로 검증.
• 소스 모델 선택 및 수렴 예측에 실용적 유용성 보이기.

제안 방법

• LEEP를 소스 모델과 대상 데이터로 구축된 Expected Empirical Predictor(EEP)의 평균 로그가능도로 정의.
• 대상 데이터를 소스 모델에 통과시켜 더미 소스 라벨 분포를 계산.
• 관찰된 대상 라벨과 더미 소스 라벨로부터 경험적 조건부 P(y|z) 추정.
• T(θ, D) = (1/n) sum_i log(sum_z P(y_i|z) θ(x_i)_z) 를 전이 가능성 점수로 계산.
• LEEP가 최적 재학습된 모델의 평균 로그가능도의 하한임을 증명( hypothesis space에 EEP 포함).
• LEEP를 음의 조건 엔트로피(NCE)와 관련시키고, 해석가능성 및 계산을 기존 척도와 비교.

실험 결과

연구 질문

• RQ1 TARGET task training 없이도 LEEP가 일반 전이 학습 방법의 성능(헤드 재학습 및 미세조정)을 예측할 수 있는가?
• RQ2 LEEP가 메타-전이 학습 성능(CNAPs 등) 및 미세조정의 수렴 속도와 상관관계가 있는가?
• RQ3 다양한 데이터 조건(작은, 불균형, 노이즈) 및 소스/대상 쌍에서 LEEP가 NCE 및 H 점수와 어떻게 비교되는가?
• RQ4 주어진 대상 작업에 어떤 소스 모델을 배포할지 선택하는 데 LEEP가 유용한가?

주요 결과

알고리즘	실험 설정	상관 계수	NCE	H	세부사항
LEEP	CIFAR10 -> CIFAR100, Source ResNet20 (pre-trained on CIFAR10)	0.982	0.982	0.831	Sec. 5.1
LEEP	ImageNet -> CIFAR100, Source ResNet18 (pre-trained on ImageNet)	0.974	0.973	0.924	Sec. 5.1
LEEP	CIFAR10 -> CIFAR100, Source ResNet20 (small, balanced)	0.744	0.743	0.877	Sec. 5.2
LEEP	ImageNet -> CIFAR100, Source ResNet18 (small, balanced)	0.798	0.715	0.026 (∗)	Sec. 5.2
LEEP	CIFAR10 -> FashionMNIST, Source ResNet20 (small, balanced)	0.518	0.429	0.787	Sec. 5.2
LEEP	ImageNet -> FashionMNIST, Source ResNet18 (small, balanced)	0.631	0.622	0.005 (∗)	Sec. 5.2
LEEP	CIFAR10 -> CIFAR100, Source ResNet18 (small, balanced, noisy)	0.612	0.579	0.017 (∗)	Sec. 5.2
LEEP	CIFAR10 -> CIFAR100, Source ResNet18 (small, balanced)	0.612?	0.579?	0.017?	Sec. 5.2
LEEP	CIFAR10 -> CIFAR100, Source ResNet20 (small, imbalanced)	0.862	0.847	0.787	Sec. 5.3
LEEP	ImageNet -> CIFAR100, Source ResNet18 (small, imbalanced)	0.522	0.484	-0.058 (∗)	Sec. 5.3
LEEP	CIFAR10 -> FashionMNIST, Source ResNet20 (small, imbalanced)	0.704	0.688	0.822	Sec. 5.3
LEEP	ImageNet -> FashionMNIST, Source ResNet18 (small, imbalanced)	0.645	0.624	0.059 (∗)	Sec. 5.3
LEEP	CIFAR10 -> CIFAR100, Source ResNet18 (large, balanced)	0.967	0.967	0.787	Sec. 5.1
LEEP	ImageNet -> CIFAR100, Source ResNet18 (large, balanced)	0.944	0.945	0.875	Sec. 5.1
LEEP	CIFAR10 -> CIFAR100, Source ResNet20 (small, balanced)	0.396	0.401	0.737	Sec. 5.2
LEEP	ImageNet -> CIFAR100, Source ResNet18 (small, balanced)	0.762	0.584	-0.029 (∗)	Sec. 5.2
LEEP	CIFAR10 -> FashionMNIST, Source ResNet20 (small, balanced)	0.339	0.258	0.826	Sec. 5.2
LEEP	ImageNet -> FashionMNIST, Source ResNet18 (small, balanced)	0.609	0.578	0.018 (∗)	Sec. 5.2
LEEP	ImageNet -> CIFAR100, Source ResNet18 (small, balanced, noisy)	0.348	0.324	0.06 (∗)	Sec. 5.2
LEEP	CIFAR10 -> CIFAR100, Source ResNet20 (small, imbalanced)	0.597	0.582	0.758	Sec. 5.3
LEEP	ImageNet -> CIFAR100, Source ResNet18 (small, imbalanced)	0.522	0.484	-0.058 (∗)	Sec. 5.3
LEEP	CIFAR10 -> FashionMNIST, Source ResNet20 (small, imbalanced)	0.704	0.688	0.822	Sec. 5.3
LEEP	ImageNet -> FashionMNIST, Source ResNet18 (small, imbalanced)	0.645	0.624	0.059 (∗)	Sec. 5.3

• LEEP 점수는 다양한 작업과 전이 방법에서 전이 정확도와 강하게 상관, Pearson 상관계수 > 0.94 및 p < 0.001인 경우가 많음.
• LEEP는 작은 불균형 대상 데이터에서도 예측력을 유지하며 노이즈 라벨에서도.
• LEEP는 미세조정의 더 빠른 수렴을 예측하고, 전이된 모델이 무에서 시작한 기준 모델을 능가할 때를 나타낼 수 있다.
• LEEP는 대부분의 비교에서 NCE 및 H 점수보다 우수하며 실제 전이 정확도와의 상관에서 최대 30% 개선.
• LEEP는 메타-전이 학습(CNAPs) 성능에 대해서도 실행 가능 척도로, 유의한 상관(0.591, p < 0.001)을 보임.
• 소스 모델 선택에서 LEEP 기반 추정이 NCE나 H 점수보다 전이 성능과 더 잘 일치.