[논문 리뷰] Model Compression with Two-stage Multi-teacher Knowledge Distillation for Web Question Answering System

Ze Yang, Linjun Shou외 3명|arXiv (Cornell University)|2019. 10. 18.

Topic Modeling참고 문헌 29인용 수 6

한 줄 요약

이 논문은 두 단계 다중강사 지식 정복(TMKD)을 제안한다. 이 방법은 먼저 다수의 강사 모델(예: BERT 및 GPT)의 지식을 활용해 다중강사 정복 작업에서 학생 모델을 사전 훈련한 후, 이후에 다양한 강사 모델의 지식을 사용해 학생 모델을 미세조정한다. 이 접근법은 추론 지연을 크게 줄이며, 강사 모델 성능을 유지하거나 초월한다. 대규모 Q&A 데이터셋에서 79.22%의 정확도를 달성하여 원본 BERT large 모델(77.00%)을 뛰어넘으며, 실세계 배포 환경에서 상당한 속도 향상을 이룬다.

ABSTRACT

Deep pre-training and fine-tuning models (such as BERT and OpenAI GPT) have demonstrated excellent results in question answering areas. However, due to the sheer amount of model parameters, the inference speed of these models is very slow. How to apply these complex models to real business scenarios becomes a challenging but practical problem. Previous model compression methods usually suffer from information loss during the model compression procedure, leading to inferior models compared with the original one. To tackle this challenge, we propose a Two-stage Multi-teacher Knowledge Distillation (TMKD for short) method for web Question Answering system. We first develop a general Q\&A distillation task for student model pre-training, and further fine-tune this pre-trained student model with multi-teacher knowledge distillation on downstream tasks (like Web Q\&A task, MNLI, SNLI, RTE tasks from GLUE), which effectively reduces the overfitting bias in individual teacher models, and transfers more general knowledge to the student model. The experiment results show that our method can significantly outperform the baseline methods and even achieve comparable results with the original teacher models, along with substantial speedup of model inference.

연구 동기 및 목표

• 실시간 웹 질문 응답 시스템에서 대규모 사전 훈련된 모델(예: BERT, GPT)의 높은 추론 지연 문제를 해결하기 위해.
• 지식 정복에 의해 유도되는 정보 손실로 인한 모델 압축 시 성능 저하 문제를 극복하기 위해.
• 다양한 다중 소스 지식을 활용해 학생 모델의 일반화 능력을 향상시키기 위해.
• 엄격한 지연 제약 조건(≤10ms)을 가진 생산 규모 웹 Q&A 파이프라인에서 압축 모델의 효율적 배포를 가능하게 하기 위해.
• 훈련 데이터 규모, 모델 깊이, 손실 가중치가 정복 효과에 미치는 영향을 탐색하기 위해.

제안 방법

• 두 단계 훈련 파이프라인을 도입한다: 첫 번째로, 다양한 강사 모델의 출력을 사용해 일반적인 Q&A 정복 작업에서 학생 모델을 사전 훈련한다.
• 두 번째로, 웹 Q&A, MNLI, SNLI, RTE 등의 다운스트림 작업에서 다중강사 지식 정복(m-o-1)을 사용해 사전 훈련된 학생 모델을 미세조정한다.
• 황금 레이블에 대한 교차 엔트로피와 다수의 강사로부터의 지식 정복 손실을 조합한 가중 손실을 사용해 소프트 레이블 정복을 수행한다.
• 황금 레이블과 다수의 강사로부터 온 소프트 레이블 간의 감독 균형을 맞추기 위해 동적 손실 가중 비율 α를 활용한다.
• 과적합 편향을 줄이고 지식 다양성을 향상시키기 위해 서로 다른 초모수로 훈련된 다양한 강사 모델(예: BERT base/large, GPT)을 활용한다.
• 앙상블 정복을 적용하여 각 학생 모델이 다른 강사 모델에서 훈련되고, 예측 결과를 조합해 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 두 단계 다중강사 정복 프레임워크가 단일강사 지식 정복보다 학생 모델의 정확도와 추론 효율성 측면에서 뛰어나게 되는가?
• RQ2 학생 모델을 다중강사 정복 작업에서 사전 훈련하면, 다운스트림 NLP 작업에서의 일반화 능력이 향상되는가?
• RQ3 학생 모델의 트랜스포머 레이어 수가 성능과 추론 속도 사이의 트레이드오���에 미치는 영향는 어떠한가?
• RQ4 다중강사 지식 정복에서 황금 레이블 감독과 소프트 레이블 정복 간의 최적 균형은 무엇인가?
• RQ5 다양한 강사 모델을 활용한 다중강사 정복이 대규모 데이터셋에서 원본 강사 모델의 성능을 초월할 수 있는가?

주요 결과

• TMKD는 0.1억 건의 샘플을 포함한 Q&A 데이터셋에서 79.22%의 정확도를 달성하여 원본 BERT large 모델(77.00%)을 뛰어넘었다.
• 모든 평가된 데이터셋에서 1-o-1 및 평균 기반 다중강사 정복(TKD base)보다 성능이 뛰어났다.
• 3개의 트랜스포머 레이어를 가진 학생 모델이 성능 대 추론 속도 비율에서 최고의 성능을 보였으며(QPS: 217), 정확도와 지연 시간을 균형 있게 조절했다.
• 손실 가중 비율 α를 증가시킬수록 성능이 향상되다가 α = 0.9에 도달했을 때 정점에 도달하고, α = 1.0일 때 성능이 저하됨을 확인하여 황금 레이블 감독의 필요성을 입증했다.
• 레이어 수를 1에서 3으로 늘일 경우 성능 향상이 뚜렷했으며(예: QNLI에서 +11.44%), 그러나 3에서 5로 늘였을 때는 성능 향상이 미미했음(예: RTE에서 +0.37%)으로, 3개 레이어가 최적임을 입증했다.
• 이 방법은 상당한 추론 속도 향상을 이룬다. 예를 들어, BERT large는 5.2ms의 지연을 보였지만, 압축된 학생 모델은 약 1.6ms로, 실시간 웹 Q&A 시스템에 적용 가능하다.