[논문 리뷰] Frustratingly Easy Transferability Estimation

Long-Kai Huang, Ying Wei외 3명|arXiv (Cornell University)|2021. 06. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 12

한 줄 요약

이 논문은 단일 순방향 전파 동안 사전 훈련된 모델이 추출한 특징과 타겟 작업 레이블 간의 상호정보를 계산함으로써 간단하고 효율적이며 효과적인 전이 가능성 추정 방법인 TransRate를 제안한다. 상호정보의 계산 비용이 높은 것을 방지하기 위해 정보이론에서의 코딩 속도를 상호정보의 계산 비용이 적은 대체 측정치로 활용함으로써, 다양한 레이어에서 특징의 완전성과 압축성 모두를 평가할 수 있으며, 32개의 모델과 16개의 밑줄 작업에서 단 10줄의 코드로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Transferability estimation has been an essential tool in selecting a pre-trained model and the layers in it for transfer learning, to transfer, so as to maximize the performance on a target task and prevent negative transfer. Existing estimation algorithms either require intensive training on target tasks or have difficulties in evaluating the transferability between layers. To this end, we propose a simple, efficient, and effective transferability measure named TransRate. Through a single pass over examples of a target task, TransRate measures the transferability as the mutual information between features of target examples extracted by a pre-trained model and their labels. We overcome the challenge of efficient mutual information estimation by resorting to coding rate that serves as an effective alternative to entropy. From the perspective of feature representation, the resulting TransRate evaluates both completeness (whether features contain sufficient information of a target task) and compactness (whether features of each class are compact enough for good generalization) of pre-trained features. Theoretically, we have analyzed the close connection of TransRate to the performance after transfer learning. Despite its extraordinary simplicity in 10 lines of codes, TransRate performs remarkably well in extensive evaluations on 32 pre-trained models and 16 downstream tasks.

연구 동기 및 목표

• 부정적 전이를 방지하고 성능을 극대화하기 위해 전이 학습에서 최적의 사전 훈련된 모델과 레이어를 선택하는 데 도전하는 것.
• 사전 훈련된 모델의 다양한 레이어에서 전이 가능성을 평가할 수 있는 계산 효율적인 전이 가능성 추정 방법을 개발하는 것.
• 기존 방법들이 광범위한 미세조정이 필요하거나 레이어 간의 차이를 구분하지 못하는 한계를 극복하는 것.
• 단일 순방향 전파만으로도 단순하고 효과적인 방법을 제공하는 것.

제안 방법

• TransRate는 주어진 레이어에서 사전 훈련된 모델이 추출한 특징과 타겟 작업 레이블 간의 상호정보로 전이 가능성을 추정한다.
• 상호정보의 계산 비용이 높은 것을 방지하기 위해 정보이론에서의 코딩 속도를 계산 비용이 낮은 대체 측정치로 활용함으로써, 고비용의 신경망 훈련이나 철저한 이산화를 피한다.
• 이 방법은 특징의 완전성(정보 내용)과 압축성(클래스 간 분리 가능성)을 통합된 프레임워크에서 평가한다.
• 특징과 레이블의 결합 분포와 조건부 분포 간의 코딩 속도 차이를 계산함으로써, 고차원 공간에서도 안정적인 추정을 제공한다.
• 알고리즘의 시간 복잡도는 O(min{d^{2.373} + nd^2, n^{2.373} + dn^2})이며, 이는 레이어 간 빠른 평가를 가능하게 한다.
• 특히 노이즈 파라미터 ε에 대한 하이퍼파rameter 선택에 대해 강건한데, 이는 속도 차이 계산에서 상쇄 효과가 발생하기 때문이다.

실험 결과

연구 질문

• RQ1 주어진 타겟 작업에 대해 가장 높은 전이 가능성을 제공하는 사전 훈련된 모델과 레이어는 무엇인가?
• RQ2 미세조정이나 추가 훈련 없이도 매우 효율적이고 정확한 전이 가능성 추정 방법을 개발할 수 있는가?
• RQ3 특징과 레이블 간의 상호정보가 다운스트림 전이 학습 성능을 얼마나 잘 예측할 수 있는가?
• RQ4 간단하고 단일 전파 방법으로 사전 훈련된 모델의 다양한 레이어 간 전이 가능성을 효과적으로 구분할 수 있는가?

주요 결과

• TransRate는 32개의 사전 훈련된 모델과 16개의 다운스트림 작업에서 최신 기술 수준의 성능을 달성하며, 계산 비용이 극히 낮다.
• 이 방법은 타겟 데이터를 한 번만 순방향 전파하는 것으로만 이루어지므로, 미세조정 기반 또는 훈련 집약적인 대안들에 비해 매우 효율적이다.
• TransRate는 실제 다운스트림 전이 학습 성능과 강한 상관관계를 보이며, 일반화와의 이론적 연결성을 검증한다.
• 특히 노이즈 파라미터 ε에 대한 하이퍼파rameter 선택에 대해 강건한데, 이는 속도 차이 계산에서 상쇄 효과가 발생하기 때문이다.
• 단순함(10줄의 코드)에도 불구하고, 레이어별 전이 가능성을 평가하지 못하는 기존의 계산 효율적인 방법들보다 뛰어난 성능을 보인다.