[논문 리뷰] In-context Learning Distillation: Transferring Few-shot Learning Ability of Pre-trained Language Models

Yukun Huang, Yanda Chen외 2명|arXiv (Cornell University)|2022. 12. 20.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 대규모 사전 훈련된 언어 모델에서 소규모 학생 모델로 소수의 예제로 학습 능력을 전이하기 위해 인코어드 컨텍스트 학습과 언어 모델링 목표를 동시에 최적화하는 지식 정련 프레임워크인 인코어드 컨텍스트 학습 정련(ICL-D)을 소개한다. 이 방법은 LAMA 및 CrossFit 벤치마크에서 최신 기술 성능을 달성하며, 교사 모델 대비 최대 13.4배 작고 3.6배 빠른 학생 모델을 사용함에도 불구하고 성능의 91.4%를 유지한다.

ABSTRACT

Given the success with in-context learning of large pre-trained language models, we introduce in-context learning distillation to transfer in-context few-shot learning ability from large models to smaller models. We propose to combine in-context learning objectives with language modeling objectives to distill both the ability to read in-context examples and task knowledge to the smaller models. We perform in-context learning distillation under two different few-shot learning paradigms: Meta In-context Tuning (Meta-ICT) and Multitask In-context Tuning (Multitask-ICT). Multitask-ICT performs better on multitask few-shot learning but also requires more computation than Meta-ICT. Our method shows consistent improvements for both Meta-ICT and Multitask-ICT on two benchmarks: LAMA and CrossFit. Our extensive experiments and analysis reveal that in-context learning objectives and language modeling objectives are complementary under the Multitask-ICT paradigm. In-context learning objectives achieve the best performance when combined with language modeling objectives.

연구 동기 및 목표

• 실시간 및 자원 제약이 있는 시스템에서 대규모 사전 훈련된 언어 모델의 높은 계산 비용과 구현 장벽을 해결하기 위해.
• 대규모 교사 모델에서 소규모 학생 모델로 소수의 예제로 학습 능력을 전이하여 효율적인 배포를 가능하게 하기 위해.
• 특히 다중 작업 소수의 예제 설정에서 인코어드 컨텍스트 학습 능력이 지식 정련을 통해 효과적으로 전이될 수 있는지 조사하기 위해.
• 소수의 예제 학습을 위한 정련에서 인코어드 컨텍스트 학습과 언어 모델링 목표의 상호보완적 역할을 탐색하기 위해.
• 메타-ICT보다 성능이 뛰어나지만 더 높은 계산 비용을 수반하는 새로운 소수의 예제 학습 파рад림인 다중 작업 인코어드 컨텍스트 튜닝(Multitask-ICT)을 제안하기 위해.

제안 방법

• 대규모 교사 모델에서 소규모 학생 모델로 인코어드 컨텍스트 학습 행동과 작업별 지식을 동시에 정련하는 교사-학생 프레임워크인 인코어드 컨텍스트 학습 정련(ICL-D)을 제안한다.
• 입력-출력 예시로부터 작업을 추론하는 데 목표로 하는 인코어드 컨텍스트 학습 목표와 언어 모델링 목표를 결합하여 지식 전이를 향상시킨다.
• 메타-ICT(다양한 작업에서 메타 훈련된)와 다중 작업-ICT(다수의 소수의 예제 작업에서 동시에 튜닝된)라는 두 가지 소수의 예제 학습 파라다임에서 정련 프레임워크를 적용한다.
• 추론 전에 여러 타겟 작업의 인코어드 컨텍스트 예시에서 모델을 다중 작업 예제로 튜닝하는 새로운 파라다임인 다중 작업-ICT를 도입하여 메타-ICT 대비 성능 향상을 이룬다.
• 학생의 예측 분포를 안내하기 위해 교사 모델의 소프트 레이블 정련을 사용하며, 동시에 교사의 은닉 표현을 활용해 지식 전이를 수행한다.
• 이중 목표 훈련 목표를 사용한다: 하나는 예시에 조건부로 설정된 인코어드 컨텍스트 학습(목표), 다른 하나는 언어 모델링(다음 토큰 예측) 목표이며, 양자 모두를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 대규모 사전 훈련된 언어 모델에서 소규모 학생 모델로 지식 정련을 통해 소수의 예제로 학습 능력이 효과적으로 전이될 수 있는가?
• RQ2 정련 과정에서 인코어드 컨텍스트 학습 목표와 언어 모델링 목표는 어떻게 상호작용하고 상호보완적인가?
• RQ3 제안된 다중 작업-ICT 파라다임은 메타-ICT를 초월하는 소수의 예제 학습 성능을 달성하는가? 그리고 그에 따른 계산 비용은 어떠한가?
• RQ4 메타 훈련 작업의 분포가 메타-ICT의 성능에 어떤 영향을 미치며, 정련이 데이터 희소성 문제를 완화할 수 있는가?
• RQ5 언어 모델링 목표만으로 정련할 경우 인코어드 컨텍스트 학습에 유용한 지식이 전이될 수 있는가, 아니면 인코어드 컨텍스트 학습 감독이 필수적인가?

주요 결과

• 인코어드 컨텍스트 학습 정련은 메타-ICT 및 다중 작업-ICT 파라다임 모두에서 LAMA 및 CrossFit 벤치마크에서 소수의 예제 성능을 일관되게 향상시킨다.
• 다중 작업-ICT는 소수의 예제 학습 정확도에서 메타-ICT를 능가하지만 적응 과정에서 상당히 더 많은 계산을 요구한다.
• 인코어드 컨텍스트 학습과 언어 모델링 목표의 조합은 다중 작업-ICT에서 최고의 성능을 내며, 이는 두 목표의 상호보완적 성격을 입증한다.
• 언어 모델링 정련만으로는 성능이 열악하여 설정 3에서 P@1이 18.5%에 불과하여, 인코어드 컨텍스트 학습 감독 없이선 충분하지 않다는 것을 시사한다.
• 교사 모델 크기의 1/13.4로 줄어든 학생 모델이 다중 작업-ICT 하에서 CrossFit에서 교사 성능의 91.4%를 유지한다.
• 모델 크기를 93%까지 줄였을 때 1.7배의 속도 향상과 함께 91.4%의 성능 유지가 이루어졌으며, 일부 더 작은 모델은 교사 모델을 초월하는 성능을 달성하기도 했다.