[논문 리뷰] XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation

Subhabrata Mukherjee, Ahmed Hassan Awadallah외 1명|arXiv (Cornell University)|2021. 06. 08.

Topic Modeling참고 문헌 36인용 수 8

한 줄 요약

XtremeDistilTransformers는 자연어 추론(NLI)과 같은 고성능 소스 태스크에서 유의미한 태스크 특화 지식을 활용하여, 보편적인 학생 모델을 훈련하는 태스크 무관(distillation) 프레임워크를 제안한다. 다양한 레이어를 통해 대규모 트레이너 모델의 깊은 표현과 주의 상태를 전이하고, 태스크 특화 데이터 증강 기법을 적용함으로써 인코더의 최대 87배 압축을 달성하면서도, 41개 언어의 NER 벤치마크에서 mBERT 대비 F1 점수 격차가 5.07% 이내에 머무르게 한다.

ABSTRACT

While deep and large pre-trained models are the state-of-the-art for various natural language processing tasks, their huge size poses significant challenges for practical uses in resource constrained settings. Recent works in knowledge distillation propose task-agnostic as well as task-specific methods to compress these models, with task-specific ones often yielding higher compression rate. In this work, we develop a new task-agnostic distillation framework XtremeDistilTransformers that leverages the advantage of task-specific methods for learning a small universal model that can be applied to arbitrary tasks and languages. To this end, we study the transferability of several source tasks, augmentation resources and model architecture for distillation. We evaluate our model performance on multiple tasks, including the General Language Understanding Evaluation (GLUE) benchmark, SQuAD question answering dataset and a massive multi-lingual NER dataset with 41 languages. We release three distilled task-agnostic checkpoints with 13MM, 22MM and 33MM parameters obtaining SOTA performance in several tasks.

연구 동기 및 목표

• 태스크 무관 및 태스크 특화 접근 방식을 융합하여, 압축과 일반화 능력 간의 상충 관계를 해결한다.
• 다양한 하류 태스크와 언어로의 전이 가능성을 극대화하는 최적의 소스 태스크와 데이터 증강 전략을 규명한다.
• 대규모 트레이너 모델에서 작고 보편적인 학생 모델로의 점진적 지식 전이를 가능하게 하는 distillation 프레임워크를 개발한다.
• 태스크 특화 distillation과 비교할 만한 높은 압축률을 달성하면서도, 다양한 태스크와 언어에 걸쳐 광범위하게 적용 가능한 성능을 유지한다.
• 공개 사용을 위해 태스크 무관으로 정제된 모델 체크포인트를 배포하여, 자원이 제한된 환경 및 엣지 환경에서의 구현을 가능하게 한다.

제안 방법

• 하류 태스크로의 전이 가능성에 기반해 고성능 소스 태스크(예: MNLI, QNLI, SST-2)를 선정하며, 특히 NLI가 가장 뛰어난 일반화 능력을 보였다.
• 태스크 특화 미세조정된 트레이너 모델을 사용해 소프트 레이블 및 중간 표현(주의 상태와 은닉 상태)을 생성하여 distillation에 활용한다.
• 트레이너 및 학생 모델의 여러 레이어에 걸쳐 점진적 지식 전이를 구현하며, 표현 지식과 주의 지식을 모두 전이한다.
• 백번역 및 자기학습을 통한 다국어 데이터 증강을 적용하여 41개 언어 전역에서의 일반화 및 강인성을 향상시킨다.
• 다국어 워드 임베딩과 인코더 파라미터를 트레이너에서 학생 모델로 고정하고 전이함으로써 훈련 안정성과 성능을 향상시킨다.
• 소프트 레이블 및 중간 레이어 특징에서의 지식 전이를 포함한 distillation 목표를 기반으로 학생 모델을 종합적으로 훈련한다.

실험 결과

연구 질문

• RQ1 다양한 NLP 태스크에 걸쳐 보편적, 태스크 무관 학생 모델을 정제하기 위해 어떤 소스 태스크가 가장 높은 전이 가능성을 보이는가?
• RQ2 태스크 특화 데이터 증강의 포함 여부가 다국어 환경에서 정제된 모델의 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 단일 레이어 또는 표현 전용 distillation 대비, 트레이너 모델의 다중 레이어에서의 정제가 학생 모델 성능 향상에 얼마나 기여하는가?
• RQ4 모델 아키텍처 선택(예: 레이어 수, 주의 헤드 수, 은닉 차원 수)이 압축률과 정확도 사이의 상충 관계에 어떤 영향을 미치는가?
• RQ5 태스크 특화 미세조정 없이도 하나의 정제된 모델이 다양한 태스크와 언어에서 높은 성능을 달성하면서도 고압축률을 유지할 수 있는가?

주요 결과

• NLI 태스크(특히 MNLI)가 가장 뛰어난 전이 가능성을 보였으며, 하류 태스크에서 평균 87.8의 미세조정 성능를 기록하여 다른 소스 태스크를 압도했다.
• XtremeDistilTransformers는 인코더의 최대 87배 압축(87M에서 1M 파라미터로)을 달성했으며, 41개 언어의 NER 벤치마크에서 mBERT 대비 F1 점수 격차가 5.07% 이내였다.
• 가장 작은 모델 버전(6개 레이어, 12개 주의 헤드, 384개 은닉 차원)은 NER 태스크에서 88.00 F1 점수를 기록했고, 8배 압축률과 5.07% 성능 격차를 기록했다.
• 다중 레이어 주의 정제를 제거한 실험(a)에서는 F1 점수가 1.52포인트 감소하여 깊이 있는 지식 전이의 중요성을 입증했다.
• 단일 언어 워드 임베딩을 사용한 실험(c)에서는 F1 점수가 10.48포인트 하락하여 다국어 임베딩 전이의 핵심적 역할을 입증했다.
• 파라미터 전이 없이 무작위 초기화에서 훈련한 실험(e)에서는 F1 점수가 9.3포인트 감소하여, 정제 과정에서 지식 전이의 유용성을 확인했다.