[논문 리뷰] LogME: Practical Assessment of Pre-trained Models for Transfer Learning

Kaichao You, Yong Liu외 2명|arXiv (Cornell University)|2021. 02. 22.

Topic Modeling참고 문헌 72인용 수 39

한 줄 요약

LogME는 특징에 주어진 라벨의 최대 증거(LogME)를 추정하여 전이 학습을 위한 사전 학습된 모델을 평가하는 빠르고 일반적인 방법을 도입하고, 감독, 비감독, 분류, 회귀 및 언어 작업 전반에 걸쳐 미세조정 없이 모델 선택을 가능하게 한다.

ABSTRACT

This paper studies task adaptive pre-trained model selection, an underexplored problem of assessing pre-trained models for the target task and select best ones from the model zoo \emph{without fine-tuning}. A few pilot works addressed the problem in transferring supervised pre-trained models to classification tasks, but they cannot handle emerging unsupervised pre-trained models or regression tasks. In pursuit of a practical assessment method, we propose to estimate the maximum value of label evidence given features extracted by pre-trained models. Unlike the maximum likelihood, the maximum evidence is \emph{immune to over-fitting}, while its expensive computation can be dramatically reduced by our carefully designed algorithm. The Logarithm of Maximum Evidence (LogME) can be used to assess pre-trained models for transfer learning: a pre-trained model with a high LogME value is likely to have good transfer performance. LogME is \emph{fast, accurate, and general}, characterizing itself as the first practical method for assessing pre-trained models. Compared with brute-force fine-tuning, LogME brings at most $3000 imes$ speedup in wall-clock time and requires only $1\%$ memory footprint. It outperforms prior methods by a large margin in their setting and is applicable to new settings. It is general enough for diverse pre-trained models (supervised pre-trained and unsupervised pre-trained), downstream tasks (classification and regression), and modalities (vision and language). Code is available at this repository: \href{https://github.com/thuml/LogME}{https://github.com/thuml/LogME}.

연구 동기 및 목표

• 미세조정 없이 대상 작업에 대한 최적의 시작 모델을 선택하기 위해 작업 적응적 사전 학습 모델 선택을 촉진한다.
• 특징-레이블 호환성을 평가하기 위한 최대 증거를 기반으로 하는 확률적이고 기울기 비의존적인 점수(LogME)를 제안한다.
• 다양한 모달리티에 걸친 감독 및 비감독 사전 학습 모델은 물론 분류 및 회귀 작업에 LogME의 적용 가능성을 시연한다.
• LogME가 실제 전이 성능과 강하게 상관관계를 보이면서 브루트포스 미세조정에 비해 큰 속도 향상을 제공함을 보여준다.

제안 방법

• 사전 학습된 모델을 고정된 특징 추출기로 표현하고 추출된 특징 위에 선형 예측기를 두어 타깃을 모델링한다.
• 가우시안 사전확률로 가중치를 주변화(marginalizing)하여 증거 p(y|F)를 계산하고, 폐쇄형 로그 증거 L(alpha,beta)을 얻는다.
• 알파와 베타에 대해 L을 최대화하기 위해 고정점 교대 최적화를 사용하고, 감마를 얻고 m과 A의 효율적인 업데이트를 얻는다.
• LogME를 대상 차원당 평균 최대 증거로 정의한다, 즉 LogME = (1/K) sum_k L_k / n 각 출력 차원 k에 대해 해결한 후.
• 다변수 타깃에 대해 차원별로 적용하고 평균내어 LogME를 확장하며, 회귀 프레임워크에 맞추기 위해 분류를 원-핫 인코딩으로 처리한다.
• F^T F의 SVD를 활용하여 행렬 반전을 피하고 행렬-벡터 업데이트를 달성하기 위한 계산적 최적화를 제공한다.

실험 결과

연구 질문

• RQ1 LogME가 다양한 작업과 모달리티에 걸쳐 미세조정 없이도 사전 학습 모델의 전이 학습 순위를 신뢰할 수 있게 매길 수 있는가?
• RQ2 LogME가 실제 전이 성능과의 강한 상관관계를 유지하면서 브루트포스 미세조정보다 빠르고 메모리 효율적인가?
• RQ3 LogME가 감독, 비감독, 분류, 회귀 및 언어 모델 시나리오까지 확장되는가?
• RQ4 적용성 및 예측 정확도 측면에서 LogME가 LEEP와 NCE와 같은 기존 방법과 어떻게 비교되는가?

주요 결과

• LogME는 다수의 데이터셋과 작업에서 기존 방법들보다 미세조정된 전이 성능과의 상관관계가 일관되게 더 높게 나타난다.
• LogME는 모델 선택을 위한 브루트포스 미세조정에 비해 최대 약 3000×의 실제 시간 속도 상승과 1%의 메모리 사용량을 달성한다.
• LogME는 감독 및 비감독 사전 학습 모델과 분류, 회귀, 언어 모델 작업에 적용 가능하며 시각 및 언어 도메인 전반에 걸친 작업에 적용된다.
• 회귀(dSprites)에서 LogME는 0.84의 tau로 미세조정 후 더 낮은 MSE와 상관관계를 보였고, 이는 더 높은 LogME 모델이 더 나은 성능을 낼 확률이 92%임을 시사한다.
• 언어 모델이 포함된 GLUE 작업의 경우 LogME가 외부 튜닝 노력을 통해 얻은 결과를 사용하여 3개 작업의 순위를 완벽하게 추정할 수 있다 (tau_w = 1).
• 실험 결과는 LogME가 실제 작업에 적응적인 실용적인 모델 선택을 제공하며 대상 작업에서 하이퍼파라미터 튜닝 없이도 실제 전이 성능과 일치한다는 것을 보여준다.