[논문 리뷰] MetaICL: Learning to Learn In Context

Sewon Min, Michael Lewis외 2명|arXiv (Cornell University)|2021. 10. 29.

Topic Modeling인용 수 61

한 줄 요약

MetaICL은 맥락에서 다양한 태스크를 메타 학습하여 언어 모델이 태스크를 학습하도록 하여, 파라미터 업데이트나 태스크 특화 템플릿 없이도 보지 못한 태스크에 대해 몇-shot 학습을 가능하게 한다. 이는 보통 감독 학습 미세조정과 비슷하거나 이를 능가하고 더 큰 모델보다도 우수하다.

ABSTRACT

We introduce MetaICL (Meta-training for In-Context Learning), a new meta-training framework for few-shot learning where a pretrained language model is tuned to do in-context learning on a large set of training tasks. This meta-training enables the model to more effectively learn a new task in context at test time, by simply conditioning on a few training examples with no parameter updates or task-specific templates. We experiment on a large, diverse collection of tasks consisting of 142 NLP datasets including classification, question answering, natural language inference, paraphrase detection and more, across seven different meta-training/target splits. MetaICL outperforms a range of baselines including in-context learning without meta-training and multi-task learning followed by zero-shot transfer. We find that the gains are particularly significant for target tasks that have domain shifts from the meta-training tasks, and that using a diverse set of the meta-training tasks is key to improvements. We also show that MetaICL approaches (and sometimes beats) the performance of models fully finetuned on the target task, and outperforms much bigger models with nearly 8x parameters. Finally, we show that MetaICL is complementary to human-written instructions, and the best performance can be achieved by combining both approaches.

연구 동기 및 목표

• 전-Handcrafted 템플릿이나 태스크 특화 재구성 없이도 맥락 학습 자율성을 개선하려는 동기를 부여한다.
• 예제가 몇 개만 주어져도 태스크 의미를 복구하도록 모델을 학습시키기 위해 크고 다양한 메타 학습 태스크 모음을 활용한다.
• 메타 학습 태스크와 겹치지 않는 완전히 새로운 보지 못한 대상 태스크에서 다중 설정으로 성능을 평가한다.
• 메타 학습이 도메인 이동 및 태스크 형식 다양성에 대한 로버스트를 언제 어떻게 개선하는지 보여준다.

제안 방법

• k+1 예제를 per task로 사용하여 훈련 중 맥락 학습을 시뮬레이션하기 위해 사전학습 LM을 다수의 태스크에 대해 메타 훈련하는 것으로 MetaICL 정의.
• Prior k 예제와 입력을 이용해 (k+1)-번째 예제의 레이블을 예측하는 교차 엔트로피 목표로 학습한다.
• 미지의 대상 태스크에 대해 파라미터 업데이트 없이 k 개의 라벨링된 예제와 테스트 입력에 조건을 걸어 평가한다.
• CrossFit과 UnifiedQA의 142개 데이터셋을 다양하게 활용해 중복 없이 7개의 메타 학습/대상 분할을 구성한다.
• Inference 시 P(y|x)를 P(x|y)P(y)로 재매개변수화하는 노이즈 채널 변형인 Channel MetaICL을 도입한다.
• 표준 맥락 학습, PMI 기반 방법, 다중 태스크 제로샷 전이, 미세조정을 포함한 강력한 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 메타ICL이 태스크 특화 프롬프트나 템플릿 없이도 보지 못한 태스크에서 효과적인 맥락 학습을 가능하게 하는가?
• RQ2 메타 학습 태스크의 수와 다양성이 형식이나 도메이가 다른 대상 태스크의 소수-shot 일반화에 어떤 영향을 미치는가?
• RQ3 메타ICL이 제로샷 및 다중 태스크 기준선과 비교할 때 도메인 이동 및 분포 외 대상 태스크에 대해 강건한가?
• RQ4 메타ICL이 대상 태스크에서 전체 지도 학습 미세조정의 성능에 근접하거나 이를 능가하는가, 그리고 모델 크기가 이 격차에 어떤 영향을 미치는가?
• RQ5 사람이 작성한 지침이 메타ICL과 보완적인가, 함께 사용할 때?

주요 결과

• 메타ICL 및 Channel MetaICL은 메타 학습을 사용하지 않는 기준선보다 지속적으로 우수하고 대부분의 설정에서 다중 태스크 제로샷 전이보다 앞선다.
• Channel MetaICL은 7개 설정 중 다수에서 최상의 성능을 달성하며, 고자원에서 저자원으로의 도메인 이동 태스크에서 눈에 띄는 이점을 보인다.
• 메타ICL은 대상 데이터에 대해 완전하게 미세조정된 모델의 성능에 자주 근접하거나 이를 능가하며, 8배 더 많은 매개변수를 가진 모델과도 대등하거나 더 잘 수행할 수 있다.
• 메타 학습 태스크의 다양성이 커질수록 성능 이점은 커지며, 다양한 태스크 세트가 비다양한 세트보다 훨씬 더 나은 결과를 낳는다.
• 사람이 작성한 지침을 메타ICL에 통합하면 보완적 이득이 있지만, 템플릿 없이의 메타ICL도 종종 기준선 비교에서 경쟁력 있거나 우수하다.