[논문 리뷰] Meta-KD: A Meta Knowledge Distillation Framework for Language Model Compression across Domains

Haojie Pan, Chengyu Wang외 4명|arXiv (Cornell University)|2020. 12. 02.

Topic Modeling참고 문헌 44인용 수 4

한 줄 요약

Meta-KD는 다양한 NLP 도메인 간에서 이동 가능한 지식을 희석시켜 언어 모델 압축을 위한 교차 도메인 지식 희석을 향상시키는 메타-교사 학습 프레임워크를 제안한다. 다양한 도메인에서 동시에 인스턴스 수준과 특징 수준의 메타-지식을 학습함으로써, 메타-교사 모델은 특히 저자료 환경에서 학생 모델이 뛰어난 성능을 내도록 한다. 1%의 훈련 데이터에서 표준 단일 도메인 희석보다 최대 10%의 정확도 향상을 기록한다.

ABSTRACT

Pre-trained language models have been applied to various NLP tasks with considerable performance gains. However, the large model sizes, together with the long inference time, limit the deployment of such models in real-time applications. One line of model compression approaches considers knowledge distillation to distill large teacher models into small student models. Most of these studies focus on single-domain only, which ignores the transferable knowledge from other domains. We notice that training a teacher with transferable knowledge digested across domains can achieve better generalization capability to help knowledge distillation. Hence we propose a Meta-Knowledge Distillation (Meta-KD) framework to build a meta-teacher model that captures transferable knowledge across domains and passes such knowledge to students. Specifically, we explicitly force the meta-teacher to capture transferable knowledge at both instance-level and feature-level from multiple domains, and then propose a meta-distillation algorithm to learn single-domain student models with guidance from the meta-teacher. Experiments on public multi-domain NLP tasks show the effectiveness and superiority of the proposed Meta-KD framework. Further, we also demonstrate the capability of Meta-KD in the settings where the training data is scarce.

연구 동기 및 목표

• 사전 학습된 언어 모델에서 단일 도메인 지식 희석의 한계를 해결하기 위해, 다른 도메인으로부터 이동 가능한 지식을 활용하지 못하는 문제를 해결한다.
• 내부 도메인 훈련 데이터가 부족하거나 가용하지 않은 저자료 또는 신규 도메인 환경에서 모델의 일반화 능력과 희석 성능을 향상시키는 것을 목표로 한다.
• 다양한 도메인 간에 도메인에 관계없이 적용 가능한 이동 가능한 지식을 캡처하고 선택적으로 전달하는 메타-교사 모델을 개발한다.

제안 방법

• 메타-교사는 다중 도메인 데이터셋에서 동시에 훈련되어, 도메인 간에 인스턴스 수준과 특징 수준의 이동 가능한 지식을 학습한다.
• 메타-희석 모듈은 중간 및 출력 레이어에서의 희석 손실을 최소화하며, 도메인 전문 지식 가중치를 통합하여 이동 가능한 지식을 포함한다.
• 메타-학습 파рад림을 사용하여 메타-교사를 다양한 도메인으로 일반화하도록 훈련함으로써, 새로운 도메인에서 학생 모델 훈련을 안내할 수 있도록 한다.
• 이동 가능한 지식는 손실 인자 γ₂를 통해 명시적으로 희석되며, 이는 도메인 특화 지식과 교차 도메인 지식 전달 간의 균형을 조정하기 위해 튜닝된다.
• 메타-교사 훈련 중에 내부 도메인 데이터가 없더라도, 학생 모델은 메타-교사로부터 지식을 훈련받는다.
• 프레임워크는 소프트 막대 출력, 은닉 상태 및 이동 가능한 지식 구성 요소에서 유도된 희석 손실의 조합을 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 다양한 도메인에서 훈련된 메타-교사 모델이 저자료 설정에서 하류 학생 모델의 지식 희석 성능을 향상시킬 수 있는가?
• RQ2 단일 도메인 KD와 비교할 때, 다수 도메인에서의 이동 가능한 지식 통합이 희석 성능에 어떤 영향을 미치는가?
• RQ3 내부 도메인 훈련 데이터가 부족하거나 존재하지 않을 경우, Meta-KD는 표준 KD를 얼마나 뛰어나게 성능을 내는가?
• RQ4 γ₂를 통한 이동 가능한 지식의 가중치 조정이 다양한 도메인에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 메타-교사 훈련 중에 내부 도메인 데이터가 전혀 없더라도, 메타-교사는 새로운 도메인으로 일반화될 수 있는가?

주요 결과

• MNLI 데이터셋에서 훈련 데이터의 1%만 사용할 경우 Meta-KD는 10%의 정확도 향상을 기록하여 저자료 환경에서 뛰어난 성능을 입증한다.
• 메타-교사 훈련 중에 내부 도메인 데이터를 사용하지 않았을 경우에도, Meta-KD는 Amazon Reviews에서 89.4%의 정확도를 기록하여 표준 KD를 초월하고 내부 도메인 교사 모델의 성능에 근접한다.
• 최적의 이동 가능한 지식 손실 인자 γ₂는 0.2–0.5 범위에 위치하며, 성능는 도메인에 따라 다름을 보여주어 메타-지식의 도메인 특화 이점이 있음을 시사한다.
• MNLI 데이터셋에서 훈련 데이터의 1%를 사용할 경우, Meta-KD는 표준 KD보다 3.1% 높은 정확도를 기록하여 자료가 부족한 환경에서의 효과성을 입증한다.
• ‘소설’ 도메인에 대해 내부 도메인 데이터 없이 훈련된 메타-교사 모델조차도 학생 모델이 88.2%의 정확도를 달성할 수 있었으며, 내부 도메인 교사 모델과 유사한 성능을 보였다.
• 절단 실험 결과, 이동 가능한 지식 희석 손실의 포함이 특히 저자료 설정에서 성능 향상에 기여한다는 점이 확인되었다.