[논문 리뷰] On the Theory of Transfer Learning: The Importance of Task Diversity

Nilesh Tripuraneni, Michael I. Jordan외 1명|arXiv (Cornell University)|2020. 06. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 59

한 줄 요약

이 논문은 공유 표현을 통한 전이 학습에 대한 통계적 보장을 제시하고, 일반적인 작업 다양성의 개념과 Gaussian 복잡도 체인 규칙을 도입하며, 여러 작업에 걸친 엔드-투-엔드 전이 보장을 도출한다.

ABSTRACT

We provide new statistical guarantees for transfer learning via representation learning--when transfer is achieved by learning a feature representation shared across different tasks. This enables learning on new tasks using far less data than is required to learn them in isolation. Formally, we consider $t+1$ tasks parameterized by functions of the form $f_j \circ h$ in a general function class $\mathcal{F} \circ \mathcal{H}$, where each $f_j$ is a task-specific function in $\mathcal{F}$ and $h$ is the shared representation in $\mathcal{H}$. Letting $C(\cdot)$ denote the complexity measure of the function class, we show that for diverse training tasks (1) the sample complexity needed to learn the shared representation across the first $t$ training tasks scales as $C(\mathcal{H}) + t C(\mathcal{F})$, despite no explicit access to a signal from the feature representation and (2) with an accurate estimate of the representation, the sample complexity needed to learn a new task scales only with $C(\mathcal{F})$. Our results depend upon a new general notion of task diversity--applicable to models with general tasks, features, and losses--as well as a novel chain rule for Gaussian complexities. Finally, we exhibit the utility of our general framework in several models of importance in the literature.

연구 동기 및 목표

• 여러 작업이 공통 표현을 공유할 때 전이 학습을 동기화하여 새로운 작업에서 더 적은 데이터로 학습을 가능하게 한다.
• t개의 작업에서 공유 표현을 학습하고 새로운 작업으로 전달하기 위한 두 단계 ERM 프레임워크를 개발한다.
• 문제에 의존하지 않는 작업 다양성의 개념과 일반화 경계를 도출하기 위한 Gaussian 복잡도 체인 규칙을 도입한다.
• 엔드-투-엔드 전이 학습 보장을 제공하고 여러 모델(로지스틱 회귀, 신경망, 강인 회귀)으로 예시를 제시한다.

제안 방법

• 작업을 f_j ∘ h로 모델링하며, H에 있는 공유 표현 h와 F에 있는 작업 특화 매핑 f_j를 사용한다.
• 두 단계 ERM: 학습 단계에서 nt 샘플로 h와 작업 매핑을 학습하고, 테스트 단계에서 학습된 h를 사용하여 m 샘플로 f_0를 학습한다.
• 표현의 유사성과 전달 가능성을 정량화하기 위해 작업 평균 차이와 최악의 경우 차이를 정의한다.
• 일반화 경계에서 F와 H의 복잡성을 분리하기 위한 Gaussian 복잡도 체인 규칙을 개발한다.
• 다양성과 Gaussian 복잡도에 의해 전달 성능을 한정하는 문제 독립적 인 작업 다양성의 정의를 도입한다.
• 전이 위험이 문제 차원과 작업 다양성에 어떻게 비례하는지 보이는 엔드-투-엔드 전이 학습 경계(정리 3)를 도출한다.

실험 결과

연구 질문

• RQ1 훈련 작업들 간에 공유 표현을 학습하는 데 필요한 샘플 수는 얼마인가?
• RQ2 표현을 전이하는 것이 새로운 작업에서 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 보지 않은 작업으로의 빠른 전이를 가능하게 하는 데 작업 다양성이 어떤 역할을 하는가?
• RQ4 일반화 보장을 선형/이차 설정 너머의 더 일반적인 모델로 확장할 수 있는가?
• RQ5 Gaussian 복잡도를 사용하여 작업 특화 맵의 복잡성을 공유 표현으로부터 분리할 수 있는가?

주요 결과

• 새로운 작업의 초과 위험은 nt로 나눈 C(H)와 tC(F) 항과 C(F)/m에 의존하는 항이 결합된 스케일로 증가한다.
• 작업 다양성의 새로운 개념(ν, ε)이 전이 경계를 제어하고 다양한 학습 작업에서 더 빠른 수율을 낼 수 있다.
• Gaussian 복잡도에 대한 새로운 체인 규칙이 경계를 H 학습과 F 학습의 기여로 분해한다.
• 엔드-투-엔드 전이 학습 보장은 n과 t가 크고 m이 작을 때 고립적으로 새로운 작업을 학습하는 것보다 개선된 속도를 보인다.
• 응용: 다작업 로지스틱 회귀, 다작업 심층 신경망 회귀, 단일 지수 모델에 대한 강인 회귀.
• 유리한 설정에서 전이 학습은 표현 차원 r에 비례하는 속도 이점을 얻으며, 주변 차원 d가 아니고 r이 d보다 작을 때 r << d일 때의 이점.