[논문 리뷰] Knowledge Inheritance for Pre-trained Language Models

Yujia Qin, Yankai Lin외 9명|arXiv (Cornell University)|2021. 05. 28.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 사전에 훈련된 작은 언어 모델에서 지식 정련을 활용하여 더 큰 모델을 효율적으로 훈련하는 데 목적이 있는 지식 유산(Knowledge Inheritance, KI) 프레임워크를 제안한다. 사전 훈련 중에 보조 지도 학습으로 지식 정련을 적용함으로써 KI는 훈련 효율성과 데이터 효율성을 크게 향상시키며, 수렴 속도를 빠르게 하고 성능을 향상시킨다—특히 자원이 제한된 환경과 도메인 적응 시나리오에서 두드러진다.

ABSTRACT

Recent explorations of large-scale pre-trained language models (PLMs) have revealed the power of PLMs with huge amounts of parameters, setting off a wave of training ever-larger PLMs. However, it requires tremendous computational resources to train a large-scale PLM, which may be practically unaffordable. In addition, existing large-scale PLMs are mainly trained from scratch individually, ignoring that many well-trained PLMs are available. To this end, we explore the question how could existing PLMs benefit training large-scale PLMs in future. Specifically, we introduce a pre-training framework named "knowledge inheritance" (KI) and explore how could knowledge distillation serve as auxiliary supervision during pre-training to efficiently learn larger PLMs. Experimental results demonstrate the superiority of KI in training efficiency. We also conduct empirical analyses to explore the effects of teacher PLMs' pre-training settings, including model architecture, pre-training data, etc. Finally, we show that KI could be applied to domain adaptation and knowledge transfer.

연구 동기 및 목표

• 초기부터 대규모 사전 훈련된 언어 모델(PLM)을 훈련하는 데 높은 계산 비용과 자원 소모가 발생하는 문제를 해결하기 위해.
• 이미 잘 훈련된 PLM이 더 큰 PLM의 훈련 효율성을 향상시키는 데 어떻게 활용될 수 있는지 탐구하기 위해.
• 작은 PLM에서 유래한 지식이 점차 커지는 크기의 모델 세대에 걸쳐 체계적으로 유산으로 이어질 수 있는지 조사하기 위해.
• 모델 아키텍처, 데이터, 훈련 목표와 같은 다양한 교사 PLM 사전 훈련 설정이 지식 유산의 효과성에 미치는 영향을 분석하기 위해.
• KI 프레임워크를 도메인 적응에 확장하여, 더 큰 PLM이 더 작은 도메인 특화 교사 모델을 활용해 새로운 도메인에 효율적으로 적응할 수 있도록 하기 위해.

제안 방법

• 더 큰 학생 PLM의 훈련을 이끄는 데 사용할 수 있도록 사전에 훈련된 작은 교사 PLM에서의 지식 정련을 활용하는 사전 훈련 프레임워크인 지식 유산(KI)을 도입한다.
• 학생 모델의 자기지도 학습 사전 훈련 단계 동안 지식 정련을 적용하여, 교사 모델의 소프트 레이블을 보조 지도 학습으로 활용한다.
• 마스킹된 토큰에 대해 학생 모델의 출력 로짓을 교사 모델의 로짓과 일치시키는 정련 손실을 사용하여 사전 훈련 중 지식 전달을 강화한다.
• 교사와 학생 모델 간의 유연한 아키텍처 매칭을 허용하여, 일반적으로 파rameter 재활용 방법에서 흔히 볼 수 있는 엄격한 아키텍처 제약을 피한다.
• 일반적인 사전 훈련과 도메인 적응 모두에 KI를 적용하며, 여러 도메인 특화 작은 PLM이 교사로 작용하여 큰 PLM의 특정 도메인 성능을 향상시킨다.
• 모델 아키텍처와 데이터 분포를 포함한 사전 훈련 설정을 바탕으로 최적의 교사를 선택하는 전략을 구현한다.

실험 결과

연구 질문

• RQ1 이미 훈련된 작은 PLM에서의 지식 정련이 초기부터 훈련되는 더 큰 PLM의 훈련 효율성을 향상시킬 수 있는가?
• RQ2 지식 유산이 점차 크기가 커지는 여러 PLM 세대에 걸쳐 순차적으로 적용되어 누적된 지식 전달이 가능할 수 있는가?
• RQ3 교사 PLM의 다양한 사전 훈련 설정—예를 들어 모델 아키텍처, 사전 훈련 데이터, 훈련 목표—는 지식 유산의 성능에 어떤 영향을 미치는가?
• RQ4 KI를 통해 기존에 훈련된 큰 PLM이 더 작은 도메인 특화 교사 모델의 도움을 받아 도메인 적응을 더 효과적으로 수행할 수 있는가?
• RQ5 자원이 제한된 조건에서 KI가 자기학습(self-learning)과 비교해 훈련 효율성과 데이터 효율성 측면에서 어떻게 다른가?

주요 결과

• KI는 훈련 효율성을 크게 향상시킨다: 동일한 훈련 예산 하에 KI는 자기학습 대비 더 낮은 최종 퍼플렉서티(PPL)와 더 나은 다운스트림 성능를 달성한다.
• KI는 데이터 효율성을 향상시킨다: 제한된 도메인 특화 데이터만 존재할 경우 KI와 자기학습 간의 성능 격차가 더욱 벌어지며, 이는 KI가 자원이 제한된 환경에서 더 효과적임을 시사한다.
• KI는 다중 도메인 지식 전달을 가능하게 한다: 한 대규모 PLM이 동시에 여러 도메인 특화 교사 모델의 지식을 흡수하여 모든 도메인에서 성능 향상을 달성할 수 있으며, 이는 합성 CS:BIO 데이터 실험을 통해 입증되었다.
• 순차적 지식 유산은 실현 가능하다: 지식은 점차 커지는 크기의 여러 세대의 PLM을 거쳐 누적되고 전달될 수 있으며, 이는 누적 학습 잠재력이 있음을 보여준다.
• KI는 도메인 적응에서 자기학습을 능가한다: 도메인 특화 데이터가 극히 적은 조건에서도 KI가 자기학습보다 더 높은 성능을 달성하며, 자기학습은 자원이 제한된 조건에서 과적합 경향을 보인다.
• 교사 모델 선택이 중요하다: 경험적 분석 결과, 다양한 데이터로 사전 훈련되고 적절한 아키텍처를 가진 교사 모델이 더 나은 지식 전달을 이끌어내며, 이는 교사 선택이 KI 성공의 핵심 요소임을 시사한다.