[논문 리뷰] Model Compression with Multi-Task Knowledge Distillation for Web-scale Question Answering System

Ze Yang, Linjun Shou외 3명|arXiv (Cornell University)|2019. 04. 21.

Topic Modeling참고 문헌 25인용 수 16

한 줄 요약

이 논문은 웹 스케일 질문 응답 시스템에서 BERT와 같은 대규모 사전 훈련 모델을 압축하기 위해 다중 작업 지식 정련(MKDM)을 제안한다. 이는 성능을 저하시키지 않은 채 더 빠른 추론을 가능하게 한다. 여러 사전 훈련된 교사 모델로부터 지식을 동시에 정련하여 단일 경량 학생 모델에 통합함으로써 일반화 능력을 향상시키고 과적합을 줄이며, 특히 거대한 비라벨 데이터에서 이중 단계 사전 훈련 전략을 결합할 경우 원래의 교사 모델과 비교하거나 이를 초월하는 성능을 달성한다.

ABSTRACT

Deep pre-training and fine-tuning models (like BERT, OpenAI GPT) have demonstrated excellent results in question answering areas. However, due to the sheer amount of model parameters, the inference speed of these models is very slow. How to apply these complex models to real business scenarios becomes a challenging but practical problem. Previous works often leverage model compression approaches to resolve this problem. However, these methods usually induce information loss during the model compression procedure, leading to incomparable results between compressed model and the original model. To tackle this challenge, we propose a Multi-task Knowledge Distillation Model (MKDM for short) for web-scale Question Answering system, by distilling knowledge from multiple teacher models to a light-weight student model. In this way, more generalized knowledge can be transferred. The experiment results show that our method can significantly outperform the baseline methods and even achieve comparable results with the original teacher models, along with significant speedup of model inference.

연구 동기 및 목표

• 실세계 웹 스케일 질문 응답 시스템에서 사용되는 대규모 사전 훈련 모델(예: BERT)의 느린 추론 문제를 해결하기 위해.
• 지식 정련 과정에서의 정보 손실를 최소화함으로써 모델 압축 시 성능 저하를 줄이기 위해.
• 다중 교사 지식 융합을 통해 정련된 학생 모델의 일반화 능력을 향상시키고 과적합 편향을 줄이기 위해.
• 비라벨 데이터에서의 사전 훈련과 라벨이 있는 데이터에서의 미세조정을 순차적으로 수행하는 이중 단계 훈련 전략의 효과를 탐색하기 위해.
• 생산 환경에서 저지연 온라인 추론에 적합한 확장성 있고 효율적이며 높은 성능을 보이는 학생 모델을 개발하기 위해.

제안 방법

• 단일 학생 모델이 여러 사전 훈련된 교사 모델(예: BERT-base, BERT-large)이 생성한 소프트 레이블을 함께 학습할 수 있도록 다중 작업 학습 프레임워크를 설계한다.
• 교사 소프트 레이블에서 유도된 지식 정련 손실와 금본 레이블에서 유도된 교차 엔트로피 손실를 조합한 공동 손실 함수를 제안하며, 이는 하이퍼파ram터 α로 가중한다.
• 먼저 거대 규모의 비라벨 데이터에서 다수의 교사 모델의 소프트 레이블을 사용해 학생 모델을 사전 훈련하는 이중 단계 다중 작업 지식 정련 모델(TS-MKDM)을 도입한다.
• 그 후, 더 작은 라벨이 있는 데이터셋에서 소프트 레이블과 금본 레이블을 모두 사용해 학생 모델을 미세조정함으로써 반복적인 지식 정련을 통해 성능을 향상시킨다.
• 다양한 교사 모델이 제공하는 상호 보완적 지식을 활용해 학생 모델의 일반화 능력과 내구성을 향상시킨다.
• 지식 정련과 감독 학습 간의 손실 가중 비율 α를 최적화하며, 제거 실험을 통해 α=0.9에서 최적의 성능을 달성함을 확인했다.

실험 결과

연구 질문

• RQ1 다중 교사 지식 정련은 웹 스케일 질문 응답에서 압축된 학생 모델의 일반화 능력과 성능 향상에 기여하는가?
• RQ2 단일 교사 정련과 비교해 여러 교사 모델에서 동시에 학습할 경우 과적합 편향이 감소하는가?
• RQ3 다중 교사 소프트 레이블을 사용해 거대 규모의 비라벨 QA 쌍에서 학생 모델을 사전 훈련하면 성능 향상이 추가로 이루어지는가?
• RQ4 제안된 이중 단계 훈련 전략(사전 훈련 + 미세조정)은 학생 모델이 원래의 교사 모델을 초월하는 성능을 달성할 수 있는가?
• RQ5 다중 작업 프레임워크에서 지식 정련과 감독 학습 손실 간의 최적의 트레이드오프(즉, α의 값)는 무엇인가?

주요 결과

• MKDM 모델은 기준선 정련 방법보다 뛰어나며, CommQA-Labeled 데이터셋에서 77.18% 정확도와 85.14% AUC를 기록해 단일 교사 기준선보다 뚜렷한 향상을 보였다.
• 이중 단계 TS-MKDM 접근법은 동일한 데이터셋에서 79.22% 정확도와 87.50% AUC를 달성했으며, 원래 BERT 모델(77.00% 정확도, 86.50% AUC)을 초월했다.
• α=0.9일 때 모델은 최고의 성능(77.18% 정확도, 85.14% AUC)을 기록했으며, 이는 소프트 레이블과 금본 레이블의 감독 간 균형 조절이 핵심임을 시사한다.
• α=1.0일 경우(오직 소프트 레이블만 사용) 성능 저하가 발생했으며, 이는 금본 레이블이 종합적 지식 습득에 필수적임을 입증한다.
• TS-MKDM 모델는 1억 개의 비라벨 QA 쌍에서의 사전 훈련이 성능 향상에 크게 기여했으며, 결과적으로 AUC와 정확도 모두에서 교사 모델을 초월하는 학생 모델을 실현했다.
• 결과는 다중 교사 정련과 공동 최적화가 과적합을 줄이고 일반화 능력을 향상시키며, 특히 자원이 제한되거나 변동성이 큰 환경에서 효과적임을 확인한다.