[논문 리뷰] Generation-Distillation for Efficient Natural Language Understanding in Low-Data Settings

Luke Melas-Kyriazi, George Han외 1명|arXiv (Cornell University)|2020. 01. 25.

Topic Modeling참고 문헌 18인용 수 7

한 줄 요약

이 논문은 대규모 언어 모델(GPT-2)을 사용해 합성 훈련 예제를 생성하고, 미세조정된 BERT 모델을 통해 작은 학생 네트워크에 지식을 흡수하는 방법인 생성-정련(generation-distillation)을 제안한다. 이 방법은 AG News, DBPedia, Yahoo Answers에서 BERT의 정확도의 98%를 달성하면서도 파rameter 수를 300배 줄였고, 이전의 정련 방법보다 3배 적은 파rameter로 성능을 뛰어넘는다.

ABSTRACT

Over the past year, the emergence of transfer learning with large-scale language models (LM) has led to dramatic performance improvements across a broad range of natural language understanding tasks. However, the size and memory footprint of these large LMs makes them difficult to deploy in many scenarios (e.g. on mobile phones). Recent research points to knowledge distillation as a potential solution, showing that when training data for a given task is abundant, it is possible to distill a large (teacher) LM into a small task-specific (student) network with minimal loss of performance. However, when such data is scarce, there remains a significant performance gap between large pretrained LMs and smaller task-specific models, even when training via distillation. In this paper, we bridge this gap with a novel training approach, called generation-distillation, that leverages large finetuned LMs in two ways: (1) to generate new (unlabeled) training examples, and (2) to distill their knowledge into a small network using these examples. Across three low-resource text classification datsets, we achieve comparable performance to BERT while using 300x fewer parameters, and we outperform prior approaches to distillation for text classification while using 3x fewer parameters.

연구 동기 및 목표

• 저자원 환경에서 소형 작업 특화 모델과 대규모 사전학습된 언어 모델 간의 성능 격차를 해소하기 위해.
• 모바일폰과 같은 자원 제약이 있는 장치에 대규모 언어 모델(예: BERT)을 구현하는 데 도전하는 것.
• 생성 모델을 통해 훈련 데이터를 증강함으로써 저자원 환경에서의 지식 정련을 향상시키기 위해.
• 생성 모델과 정련의 조합이 표준 정련 또는 초기 훈련과 비교해 뛰어난 성능을 낼 수 있음을 보여주기 위해.

제안 방법

• 소규모 레이블이 부여된 데이터셋에서 대규모 언어 모델(GPT-2)을 미세조정하고, 원본 데이터 스타일에 맞는 합성된 레이블이 없는 훈련 예제를 생성한다.
• 생성된 예제를 사용해, 미세조정된 BERT 모델로부터 지식 정련을 통해 작은 학생 모델(CNN)을 훈련시킨다.
• 정련 과정에서 소프트 레이블 확률(비율)을 사용하며, 이는 Kullback-Leibler 발산 손실을 통해 이루어지며, 더 풍부한 지도 정보를 유지한다.
• 학생 모델은 원본 레이블이 부여된 데이터와 생성된 합성 데이터의 조합을 기반으로 훈련되며, 정련 과정이 일반화 능력을 향상시킨다.
• 일반화 능력을 평가하기 위해 두 가지 학생 아키텍처를 평가한다: Kim 스타일의 CNN과 ResNet 스타일의 CNN.
• 이 방법은 세 가지 저자원 텍스트 분류 벤치마크에서 평가된다: AG News, DBPedia, Yahoo Answers.

실험 결과

연구 질문

• RQ1 대규모 언어 모델에서의 데이터 생성이 저자원 텍스트 분류에서 소형 작업 특화 모델의 성능을 향상시킬 수 있는가?
• RQ2 합성 데이터 생성과 함께, 미세조정된 BERT 모델에서 소형 학생 네트워크로의 지식 정련이 더 나은 성능을 낼 수 있는가?
• RQ3 저자원 환경에서 생성-정련 방법의 성능이 표준 정련 또는 초기 훈련과 비교해 어떻게 다른가?
• RQ4 제안된 방법이 훨씬 적은 파rameter로 BERT 수준의 성능을 달성할 수 있는가?
• RQ5 학생 아키텍처의 선택이 생성-정련 파ipeline의 효과성에 영향을 미치는가?

주요 결과

• AG News에서 생성-정련 방법은 뿌리 수가 1,124개인 모델로 89.9%의 정확도를 달성했으며, BERT-Large의 성능을 동일하게 유지하면서도 파rameter를 300배 줄였다.
• DBPedia에서 이 방법은 동일한 1,124개 파rameter를 가진 학생 모델로 96.3%의 정확도를 기록했고, 이는 이전의 정련 방법보다 1.7%p 높은 성능이었다.
• Yahoo Answers에서 이 방법은 1,091개 파rameter를 가진 모델로 65.0%의 정확도를 달성했으며, 이는 이전 최고 성능보다 1.6%p 높았고 파rameter 수는 3배 적었다.
• 생성된 예제 수가 많을수록 성능이 향상되었으며, 500개의 합성 예제(클래스당 50개)만으로도 60%의 정확도를 달성했고, 더 많은 데이터로 갈수록 계속 상승했다.
• Yahoo Answers에서 BERT의 소프트 레이블을 사용한 정련은 생성된 예제에 하드 레이블을 부여한 것보다 1.3%p 높은 성능을 보였으며, 이는 소프트 레이블 지도의 이점이 확인됨을 의미한다.
• 이 방법은 아키텍처 간 일반화가 가능했으며, Kim 스타일과 ResNet 스타일의 둘 다 표준 정련보다 일관된 성능 향상을 보였다.