[논문 리뷰] General-Purpose In-Context Learning by Meta-Learning Transformers

Louis Kirsch, J. Harrison외 2명|arXiv (Cornell University)|2022. 12. 08.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 변환기(Transformer)를 메타학습시켜 명시적인 손실 함수나 최적화 알고리즘 없이 다양한 작업을 학습할 수 있는 일반 목적의 인컨텍스트 학습 프레임워크 GPICL을 제안한다. 모델 크기와 작업 다양성을 늘림으로써, 이론적 메모리 크기의 제약에 의해 성능이 제한되는 기억화에서 일반화로의 전이가 발생하며, 파라미터 수가 아닌 가용 메모리 크기로 인해 성능이 제한된다. 이는 MNIST, 패션-MNIST, CIFAR10 등의 데이터셋 간에 제로샷 일반화를 가능하게 한다.

ABSTRACT

Modern machine learning requires system designers to specify aspects of the learning pipeline, such as losses, architectures, and optimizers. Meta-learning, or learning-to-learn, instead aims to learn those aspects, and promises to unlock greater capabilities with less manual effort. One particularly ambitious goal of meta-learning is to train general-purpose in-context learning algorithms from scratch, using only black-box models with minimal inductive bias. Such a model takes in training data, and produces test-set predictions across a wide range of problems, without any explicit definition of an inference model, training loss, or optimization algorithm. In this paper we show that Transformers and other black-box models can be meta-trained to act as general-purpose in-context learners. We characterize transitions between algorithms that generalize, algorithms that memorize, and algorithms that fail to meta-train at all, induced by changes in model size, number of tasks, and meta-optimization. We further show that the capabilities of meta-trained algorithms are bottlenecked by the accessible state size (memory) determining the next prediction, unlike standard models which are thought to be bottlenecked by parameter count. Finally, we propose practical interventions such as biasing the training distribution that improve the meta-training and meta-generalization of general-purpose in-context learning algorithms.

연구 동기 및 목표

• 명시적인 아키텍처나 최적화 설계 없이 예시로부터 학습하는 일반 목적의 인컨텍스트 학습 시스템을 개발하기 위해.
• Transformer와 같은 블랙박스 모델이 일반화 가능한 학습 알고리즘을 메타학습할 수 있는 조건을 조사하기 위해.
• 인컨텍스트 학습에서 기억화에서 일반화로의 전이를 이끄는 핵심 요소들—예를 들어 모델 크기, 작업 수, 메타최적화—를 규명하기 위해.
• 메타학습된 인컨텍스트 학습자에서의 메모리 용량(상태 크기)이 파라미터 수보다 얼마나 능력에 제약을 가하는지 비교 분석하기 위해.
• 커리큘럼 학습을 통한 편향된 데이터 분포와 같은 실용적 개선 조치를 통해 메타일반화를 향상시키기 위해.

제안 방법

• 명시적인 손실 함수나 최적화기 정의 없이, 입력 예시(지원 세트)를 테스트 예측으로 매핑하는 데 목적이 있는 변환기 기반 아키텍처를 엔드 투 엔드로 훈련한다.
• 메타학습은 실제 데이터셋(예: MNIST, CIFAR10)에서 샘플링된 다양한 작업 분포에서 수행되며, 각 작업은 소수의 예시 분류 문제로 정의된다.
• 모델은 입력 시퀀스인 (x_i, y_i) 쌍을 참조하여 쿼리 x'에 대한 y'를 예측함으로써, 인컨텍스트 학습을 모방한다.
• 이 방법은 모델의 내부 상태가 학습을 위한 동적 메모리로 작용하는 블랙박스, 순서에서 순서로의 학습 프레임워크를 사용한다.
• 메타최적화는 메타학습 분포에서 표준 백프로파게이션을 사용하며, 일반화 성능 향상을 위해 하이퍼파ram터를 조정한다.
• 실용적 개선 조치로는 편향된 데이터 분포를 통한 커리큘럼 학습과 메타학습의 안정성을 높이기 위한 최적화기 및 학습률의 철저한 선택이 포함된다.

실험 결과

연구 질문

• RQ1 블랙박스 트랜스포머가 메타학습 중에 다양한 데이터셋 간에 작업을 기억에서 일반화로 전이하는 조건은 무엇인가?
• RQ2 모델 크기가 메타학습된 모델에서 일반 목적의 인컨텍스트 학습 능력이 나타나는 데 어떻게 영향을 미치는가?
• RQ3 메타학습된 인컨텍스트 학습 알고리즘의 성능이 파라미터 수보다 가용 메모리(상태 크기)에 의해 얼마나 제한되는가?
• RQ4 편향된 데이터 분포나 최적화된 메타최적화와 같은 간섭 조치가 일반 목적의 인컨텍스트 학습에서 메타일반화를 향상시킬 수 있는가?
• RQ5 다양한 신경망 아키텍처와 입력/출력 크기에서 메타학습된 인컨텍스트 학습 알고리즘의 능력은 어떻게 스케일링되는가?

주요 결과

• 기억화에서 일반화로의 전이가 큰 모델 크기와 많은 수의 메타학습 작업에서 발생하며, 명백한 알고리즘 단계가 관찰된다.
• 메타학습된 인컨텍스트 학습 알고리즘은 총 파라미터 수보다 가용 메모리(은닉 상태 크기)에 의해 제약을 받는다. 이는 메모리 용량이 핵심 제약 조건임을 시사한다.
• 충분한 스케일과 메타학습의 다양성이 확보되면, 모델은 MNIST, 패션-MNIST, CIFAR10 등의 데이터셋 간에 제로샷 일반화를 달성한다.
• 메타학습 중 편향된 데이터 분포를 사용하면 커리큘럼 역할을 하여 메타일반화 성능을 크게 향상시킨다.
• 메타최적화의 안정성은 핵심적이다: 최적의 하이퍼파ram터나 최적화기를 사용하지 않으면 메타학습 실패 또는 열악한 일반화가 발생한다.
• 이 방법은 단일 블랙박스 모델 내에서 도메인 특화 학습과 일반 목적 학습을 결합할 수 있는 일반 목적의 학습 알고리즘을 발견하는 데 기여한다.