[논문 리뷰] A Sample Complexity Separation between Non-Convex and Convex Meta-Learning

Nikunj Saunshi, Yi Zhang외 2명|arXiv (Cornell University)|2020. 02. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 7

한 줄 요약

이 논문은 일차원 부분공간 학습 문제를 구성함으로써 볼록과 비볼록 메타학습 간의 샘플 복잡도 분리를 확립한다. 비볼록 두 층의 선형 네트워크에서 Reptile를 사용할 경우, 새로운 작업에 대해 O(1)의 샘플 복잡도를 달성하는 반면, 볼록 선형 회귀는 새로운 작업에 대해 Ω(d)의 샘플 수가 필요하다고 증명한다. 이는 비볼록성 덕분에 궤적 인식 최적화 역학을 통한 공유 구조의 효과적인 메타학습이 가능하다는 것을 보여준다.

ABSTRACT

One popular trend in meta-learning is to learn from many training tasks a common initialization for a gradient-based method that can be used to solve a new task with few samples. The theory of meta-learning is still in its early stages, with several recent learning-theoretic analyses of methods such as Reptile [Nichol et al., 2018] being for convex models. This work shows that convex-case analysis might be insufficient to understand the success of meta-learning, and that even for non-convex models it is important to look inside the optimization black-box, specifically at properties of the optimization trajectory. We construct a simple meta-learning instance that captures the problem of one-dimensional subspace learning. For the convex formulation of linear regression on this instance, we show that the new task sample complexity of any initialization-based meta-learning algorithm is $Ω(d)$, where $d$ is the input dimension. In contrast, for the non-convex formulation of a two layer linear network on the same instance, we show that both Reptile and multi-task representation learning can have new task sample complexity of $\mathcal{O}(1)$, demonstrating a separation from convex meta-learning. Crucially, analyses of the training dynamics of these methods reveal that they can meta-learn the correct subspace onto which the data should be projected.

연구 동기 및 목표

• 초기화 기반 메타학습의 성공을 이해하기 위해 볼록 메타학습 분석이 부족할 수 있음을 보여주기 위해.
• 일차원 부분공간 학습의 과제를 고립시킬 수 있는 단순한 메타학습 사례를 구성하기 위해.
• 초기화 기반 메타학습에서 볼록 및 비볼록 공식화 간의 증명 가능한 샘플 복잡도 격차를 보여주기 위해.
• 비볼록 메타학습 성능을 이해하기 위해 최적화 역학의 궤적 기반 분석이 필수적임을 드러내기 위해.
• 기존 볼록 케이스 상한을 재평가하고, 작업 유사성 가정의 불일치로 인해 새로운 하한과 모순되지 않음을 보여주기 위해.

제안 방법

• 작업들이 일차원 부분공간을 공유하는 메타학습 사례를 수식적으로 정의하며, 해밍 거리 패킹을 갖는 초입방체 정점의 분포를 사용한다.
• 선형 예측기의 절댓값 기반 볼록 손실 함수를 정의하며, 작업별 매개변수를 부분공간 구조에 연결한다.
• 초기화 기반 메타학습 알고리즘에 대해 볼록 선형 회귀 설정에서 Ω(d)의 샘플 복잡도 하한을 증명한다.
• 동일한 가설 클래스를 과다 매개변수화된 형태로 표현하는 비볼록 두 층의 선형 네트워크를 도입한다.
• 비볼록 모델에서 Reptile과 다중작업 표현 학습을 분석하여, 새로운 작업에 대해 O(1)의 샘플 복잡도를 달성함을 보여준다.
• 궤적 기반 분석을 통해 최적화 역학이 올바른 부분공간을 학습함을 보여주며, 이는 일반적인 최소화자와의 차이를 드러낸다.

실험 결과

연구 질문

• RQ1 작업들이 저차원 부분공간을 공유할 때 볼록 메타학습이 낮은 샘플 복잡도를 달성할 수 있는가?
• RQ2 과다 매개변수화된 모델을 사용한 비볼록 메타학습이 샘플 복잡도 측면에서 볼록 공식화보다 증명 가능한 이점을 제공하는가?
• RQ3 왜 비볼록 모델의 궤적 기반 최적화 역학은 볼록 방법이 실패하는 공유 구조를 학습하는 데 성공하는가?
• RQ4 기존 볼록 케이스 상한과 새로운 하한 간의 관계는 어떻게 되며, 격차를 메우기 위해 어떤 구조적 가정이 필요한가?
• RQ5 이전 볼록 분석에서 사용된 작업 유사성 측정법은 메타학습의 진정한 구조를 충분히 반영할 수 있는가?

주요 결과

• 볼록 선형 회귀의 경우, 어떤 초기화 기반 메타학습 알고리즘도 새로운 작업을 해결하기 위해 Ω(d)의 샘플 수가 필요하며, 이는 공유 부분공간 구조를 활용하지 못함을 시사한다.
• 반면, 비볼록 두 층의 선형 네트워크 공식화에서는 Reptile와 다중작업 학습이 새로운 작업에 대해 O(1)의 샘플 복잡도를 달성할 수 있다.
• 비볼록 케이스에서 성공의 핵심은 최적화 궤적에 있다. 올바른 부분공간을 학습하는 것은 특정 경로를 따라야 하며, 모든 최소화자가 이를 달성하는 것은 아니다.
• 하한은 이전 볼록 케이스 상한과 모순되지 않으며, 이는 이들 상한이 이 경우에서 큰 작업 유사성 측정법(평균 매개변수 거리)에 의존하기 때문이다.
• 논문은 기존 볼록 케이스 상한이 강력한 구조적 가정 없이도 향상될 수 없음을 증명하며, 이는 이 상한이 타당함을 의미한다.
• 결과적으로 최적화 궤적을 분석하는 것이 비볼록 메타학습을 이해하는 데 필수적임을 보여주며, 특히 과다 매개변수화된 모델에서 중요하다.