[논문 리뷰] Provable Meta-Learning of Linear Representations

Nilesh Tripuraneni, Chi Jin외 1명|arXiv (Cornell University)|2020. 02. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 52

한 줄 요약

이 논문은 선형 모델에서 여러 과제에 걸친 공유 선형 특징 표현의 메타학습(meta-learning)을 연구하고, 검증 가능한 회복 보장과 새로운 과제로의 전이, 더불어 정보 이론적 하한을 제공하는 알고리즘적 방법을 제시한다.

ABSTRACT

Meta-learning, or learning-to-learn, seeks to design algorithms that can utilize previous experience to rapidly learn new skills or adapt to new environments. Representation learning -- a key tool for performing meta-learning -- learns a data representation that can transfer knowledge across multiple tasks, which is essential in regimes where data is scarce. Despite a recent surge of interest in the practice of meta-learning, the theoretical underpinnings of meta-learning algorithms are lacking, especially in the context of learning transferable representations. In this paper, we focus on the problem of multi-task linear regression -- in which multiple linear regression models share a common, low-dimensional linear representation. Here, we provide provably fast, sample-efficient algorithms to address the dual challenges of (1) learning a common set of features from multiple, related tasks, and (2) transferring this knowledge to new, unseen tasks. Both are central to the general problem of meta-learning. Finally, we complement these results by providing information-theoretic lower bounds on the sample complexity of learning these linear features.

연구 동기 및 목표

• 다수의 관련 선형 회귀 과제로부터 공통의 저차원 특징 공간을 회복할 수 있는 시점을 식별하여 학습-학습을 동기화한다.
• 공유 표현을 효율적으로 학습하는 알고리즘을 개발하고 샘플 효율성이 있음을 증명한다.
• 표현을 학습함으로써 보이지 않는 과제에서의 샘플 효율성이 어떻게 향상되는지 정량화한다.
• 다중 과제 설정에서 특징 회복의 근본 한계를 특징짓는 정보 이론적 하한을 제시한다.

제안 방법

• 데이터를 t개의 과제로 모델링하되, 열이 직교인 알 수 없는 r 차원 선형 표현 B를 공유하는 t개의 과제로 데이터를 모델링한다.
• 두 단계 메타학습 프레임워크를 구성한다: 메타-트레인으로 B를 학습하고, 메타-테스트에서 B를 고정한 상태로 새로운 과제로의 전이를 수행한다.
• Burer-Monteiro 팩토라이제이션과 정규화된 경험적 위험을 사용해 모든 국소 최적점이 B에 좋은 근사를 제공함을 보인다.
• 상위-r 고유벡터를 가지는 y^2 x x^T의 모멘트 행렬의 모멘트 추정기를 통해 B를 오차 O~(sqrt((tilde{kappa}/tilde{nu}) * dr / n1))로 회복한다.
• 학습된 B를 새로운 과제의 최소자승 추정기에 대입하는 전이 학습 절차를 분석한다.
• 다중 과제 선형 모델하에서 특징 회복에 대한 정보 이론적 하한을 제시한다.

실험 결과

연구 질문

• RQ1 다수의 관련 선형 회귀 과제로부터 공유된 저차원 특징 표현을 효율적으로 학습할 수 있는가?
• RQ2 동일한 선형 특징 공간 내의 새로운 보지 못한 과제로의 학습된 표현 전이가 얼마나 잘 이뤄질 수 있는가?
• RQ3 공유 특징 학습 및 새로운 과제로의 전이의 샘플 복잡도는 무엇이며, 전이 없이 학습하는 경우와 어떻게 비교되는가?
• RQ4 과제 다양성과 공변량 디자인에 대한 어떠한 조건에서 1차 방법이 효율적으로 표현을 복구할 수 있는가?
• RQ5 이 다중 과제 설정에서 선형 특징 부분공간을 회복하는 근본적 한계(하한)는 무엇인가?

주요 결과

• 정규화된 경험적 위험의 국소 최소해는 작은 통계적 오차까지 실제 선형 표현을 복구한다.
• 상위-r 고유벡터를 이용한 모멘트 추정기가 B를 오차 O~(sqrt((tilde{kappa}/tilde{nu}) * dr / n1))로 회복한다.
• 학습된 특징을 새로운 과제로 전이하면 특징 추정치를 사용할 때 초과 예측 오차가 O~(dr^2/n1 + r/n2)다.
• n1/n2가 r에 비해 충분히 크고 표현의 차원 r이 d에 비해 작을 때 양의 전이가 발생한다.
• 본 논문은 특징 회복에 불가피한 오차를 보이는 정보 이론적 하한을 제시하고, 제안된 추정기가 주어진 가정 하에서 거의 최적임을 강조한다.