[논문 리뷰] Distilling Task-Specific Knowledge from BERT into Simple Neural Networks

Raphael Tang, Yao Lu외 4명|arXiv (Cornell University)|2019. 03. 28.

Topic Modeling참고 문헌 36인용 수 337

한 줄 요약

논문은 BERT의 작업 특정 지식을 단일 층 BiLSTM(및 문장 쌍을 위한 시암쌓 BiLSTM)으로 증류해, 파라미터 수는 훨씬 적고 추론이 훨씬 빠르면서도 ELMo에 가깝게 성능을 달성한다.

ABSTRACT

In the natural language processing literature, neural networks are becoming increasingly deeper and complex. The recent poster child of this trend is the deep language representation model, which includes BERT, ELMo, and GPT. These developments have led to the conviction that previous-generation, shallower neural networks for language understanding are obsolete. In this paper, however, we demonstrate that rudimentary, lightweight neural networks can still be made competitive without architecture changes, external training data, or additional input features. We propose to distill knowledge from BERT, a state-of-the-art language representation model, into a single-layer BiLSTM, as well as its siamese counterpart for sentence-pair tasks. Across multiple datasets in paraphrasing, natural language inference, and sentiment classification, we achieve comparable results with ELMo, while using roughly 100 times fewer parameters and 15 times less inference time.

연구 동기 및 목표

• 간단한 아키텍처가 NLP 작업에서 심층 트랜스포머와 경쟁할 수 있는지 여부를 검토한다.
• 증류를 통해 BERT에서 경량 BiLSTM으로의 지식 이전을 입증한다.
• NLP에서 증류를 위한 규칙 기반 데이터 증강 접근법의 효과를 보여준다.

제안 방법

• 교사로서의 BERT를 활용해 로짓/소프트 타깃 증류를 통해 단일 층 BiLSTM 학생 모델을 지도한다.
• 교사와 학생 로짓 간의 MSE를 최소화하는 증류 손실(L_distill)을 적용한다.
• 교차 엔트로피와 함께 증류 손실을 혼합 매개변수 alpha로 제어(L = alpha*L_CE + (1-alpha)*L_distill).
• 마스킹, 품사 기반 대체, n-그램 샘플링 등 규칙 기반 데이터 증강 전략으로 전이 데이터셋을 구성한다.
• 문장 쌍 작업의 경우 연결-비교 분류기를 갖춘 시암쌓 BiLSTM를 사용한다.
• GLUE 작업인 SST-2, MNLI, QQP에 대한 결과를 보고 ELMo 및 BERT 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 얕은 BiLSTM 모델이 지식 증류를 통해 BERT 교사와의 경쟁 성능에 도달할 수 있는가?
• RQ2 로짓 수준의 증류가 소형 학생 모델의 표준 지도 학습과 비교해 어떤 차이가 있는가?
• RQ3 규칙 기반 데이터 증강이 NLP 작업에서 증류의 효과를 향상시키는가?
• RQ4 BERT를 BiLSTM으로 증류할 때 정확도와 파라미터 수, 추론 속도 간의 trade-off는 어떤가?
• RQ5 증류된 BiLSTM이 GLUE 작업에서 ELMo 및 트랜스포머 기준선과 어떻게 비교되는가?

주요 결과

모형	SST-2 정확도	QQP F1/정확도	MNLI-m 정확도	MNLI-mm 정확도
BERT LARGE Devlin et al. (2018)	94.9	72.1/89.3	86.7	85.9
BERT BASE Devlin et al. (2018)	93.5	71.2/89.2	84.6	83.4
OpenAI GPT Radford et al. (2018)	91.3	70.3/88.5	82.1	81.4
BERT ELMo baseline Devlin et al. (2018)	90.4	64.8/84.7	76.4	76.1
GLUE ELMo baseline Wang et al. (2018)	90.4	63.1/84.3	74.1	74.5
Distilled BiLSTM SOFT (our approach)	90.7	68.2/88.1	73.0	72.6
BiLSTM (our implementation)	86.7	63.7/86.2	68.7	68.3

• 소프트 타깃을 활용한 증류 BiLSTM은 SST-2 및 QQP에서 ELMo 수준의 성능에 근접하며, 비증류 BiLSTM 대비 MNLI를 향상시킨다.
• 증류 BiLSTM은 단일 문장 작업에서 약 100배 적은 파라미터와 15배 빠른 추론으로 ELMo와 비슷한 성능을 달성한다.
• MNLI에서 증류 BiLSTM은 기본 BiLSTM보다 4.3포인트 개선되며 일부 기존 BiLSTM 결과를 상회하지만 여전히 BERT/Large 및 ELMo 기준선보다 뒤처진다.
• 300-유닛 BiLSTM 변형의 파라미터 수는 2.2e6에 이르며, 추론 속도 측면에서 BERT-LARGE 및 ELMo에 비해 큰 효율 향상을 보인다.
• 문장 쌍 작업의 시암쌓 BiLSTM은 단어 간 상호 작용을 피함으로써 문장 길이에 선형 시간 복잡도를 제공한다.
• 전반적으로 얕은 BiLSTM은 증류와 결합해 두 가지 ELMo 구현과 경쟁적이며 강력한 효율성을 제공하지만, 평균적으로는 깊은 트랜스포머 모델을 능가하지는 못한다.