[논문 리뷰] Meta-Learning and Universality: Deep Representations and Gradient Descent can Approximate any Learning Algorithm

Chelsea Finn, Sergey Levine|arXiv (Cornell University)|2017. 10. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 96

한 줄 요약

이 논문은 표준 경사하강법(MAML처럼)으로 업데이트된 깊은 표현이 모든 학습 알고리즘을 보편적으로 근사할 수 있음을 증명하고, 실험에서 경사 기반 메타러닝이 순환형 메타러너에 비해 일반화가 더 잘 이루어지는 경향이 있음을 보여준다.

ABSTRACT

Learning to learn is a powerful paradigm for enabling models to learn from data more effectively and efficiently. A popular approach to meta-learning is to train a recurrent model to read in a training dataset as input and output the parameters of a learned model, or output predictions for new test inputs. Alternatively, a more recent approach to meta-learning aims to acquire deep representations that can be effectively fine-tuned, via standard gradient descent, to new tasks. In this paper, we consider the meta-learning problem from the perspective of universality, formalizing the notion of learning algorithm approximation and comparing the expressive power of the aforementioned recurrent models to the more recent approaches that embed gradient descent into the meta-learner. In particular, we seek to answer the following question: does deep representation combined with standard gradient descent have sufficient capacity to approximate any learning algorithm? We find that this is indeed true, and further find, in our experiments, that gradient-based meta-learning consistently leads to learning strategies that generalize more widely compared to those represented by recurrent models.

연구 동기 및 목표

• 메타러닝에서 보편성의 관점에서 학습 알고리즘 근사를 형식화한다.
• 경사 기반 메타러닝(MAML)의 표현 능력을 순환형 메타러너와 비교한다.
• 한 번의 경사 업데이트로도 깊고 표현력 있는 모델이 원샷 학습자를 근사할 수 있음을 보인다.
• 보편성을 K-샷 설정으로 확장하고 경사 기반 메타러닝에 대한 함의를 분석한다.

제안 방법

• 메타러닝에서의 보편적 함수 근사를 분석하고 보편 학습 절차 근사기를 정의한다.
• 전방 및 후방 정보 흐름을 분리하여 한 단계 보편성을 실현하는 신경망 아키텍처를 구성한다.
• 충분한 깊이와 바이어스 변환이 있으면 경사 기반 학습자가 (데이터셋, 테스트 입력)의 임의의 함수를 근사할 수 있음을 증명한다.
• K-샷 설정으로 확장하여 순열 불변의 보편성을 보인다.
• 그라디언트 정보가 정답을 복원하도록 하는 손실 함수 요건을 요약한다(예: MNSE 및 소프트맥스 교차 엔트로피의 경우).
• 경사 기반과 순환형 메타러너를 소수 샷 태스크에서 비교한 실험 요약.

실험 결과

연구 질문

• RQ1 깊은 표현을 가진 경사 기반 메타러너가 원샷 설정에서 임의의 학습 알고리즘을 근사할 수 있는가?
• RQ2 K-샷 설정에서 MAML이 순환형 메타러너와 동일한 보편적 표현 능력을 가지는가?
• RQ3 경사 기반 메타러너가 순환형 메타러너에 비해 작은 데이터셋에서 일반화가 더 잘 되고 과적합에 강한가?
• RQ4 보편성을 유지하기 위해 필요한 손실 함수는 무엇인가?

주요 결과

• 충분히 깊은 경사 기반 메타러너는 원샷 설정에서 (x, y, x*)의 임의의 함수로 근사할 수 있다.
• K-샷 설정에서 MAML은 데이터셋과 테스트 입력의 임의의 순열 불변 함수를 근사할 수 있다.
• 테스트 시 더 많은 경사 단계가 일반적인 초기화보다 과적합에 덜 취약하게 만든다.
• 메타학습 분포를 넘어 확장하는 데 있어 MAML 초기화가 데이터셋 흡수형 메타러너보다 외삽을 더 잘 지원한다.
• 표준 손실인 평균 제곱 오차(MSE)나 소프트맥스 교차 엔트로피는 보편성에 필요한 라벨 선형성 특성을 만족하지만, 일부 다른 손실은 그렇지 않다.