[논문 리뷰] Distilling Knowledge Learned in BERT for Text Generation

Yen-Chun Chen, Zhe Gan외 3명|arXiv (Cornell University)|2019. 11. 10.

Topic Modeling참고 문헌 58인용 수 21

한 줄 요약

이 논문은 자동회귀적 시퀀스-투-시퀀스 모델의 텍스트 생성 성능을 햖थ기 위해 BERT의 이방향적 문맥을 활용하는 지식 정복 프레임워크를 제안한다. 이는 새로운 조건부 마스킹 언어 모델링(C-MLM) 미세조정을 통해 달성되며, 이로 인해 학생 모델은 전반적인 일관성과 유창성을 향상시켜 IWSLT 독일어-영어 및 영어-베트남어 번역 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Large-scale pre-trained language model such as BERT has achieved great success in language understanding tasks. However, it remains an open question how to utilize BERT for language generation. In this paper, we present a novel approach, Conditional Masked Language Modeling (C-MLM), to enable the finetuning of BERT on target generation tasks. The finetuned BERT (teacher) is exploited as extra supervision to improve conventional Seq2Seq models (student) for better text generation performance. By leveraging BERT's idiosyncratic bidirectional nature, distilling knowledge learned in BERT can encourage auto-regressive Seq2Seq models to plan ahead, imposing global sequence-level supervision for coherent text generation. Experiments show that the proposed approach significantly outperforms strong Transformer baselines on multiple language generation tasks such as machine translation and text summarization. Our proposed model also achieves new state of the art on IWSLT German-English and English-Vietnamese MT datasets. Code is available at https://github.com/ChenRocks/Distill-BERT-Textgen.

연구 동기 및 목표

• 자기회귀적 텍스트 생성 모델은 미래의 문맥을 갖지 못하므로, BERT의 이방향적 문맥 지식을 효과적으로 활용하는 데 도전하는 것.
• 미세조정된 BERT 교사 모델을 통해 전역적 시퀀스 수준의 감독을 도입하여 텍스트 생성의 전반적 일관성을 향상시키는 것.
• 아키텍처 제약 없이 파rameter 공유 없이도 어떤 시퀀스-투-시퀀스 모델을도 향상시킬 수 있는 모듈러하고 모델 독립적인 접근법을 개발하는 것.
• 경량적이고 효율적인 정복 메커니즘을 사용하여 기계 번역 및 개괄 요약 과제에서 최신 기술 성능을 달성하는 것.

제안 방법

• C-MLM(조건부 마스킹 언어 모델링)을 제안하여 MLM을 확장함으로써 입력 시퀀스에 조건을 두어 BERT가 시퀀스-투-시퀀스 과제에 적응할 수 있도록 하는 미세조정 목적을 설정함.
• C-MLM를 사용해 타겟 생성 데이터셋에서 BERT를 미세조정하여 다음 토큰에 대한 소프트 확률 분포를 생성함으로써 좌우 양측의 문맥을 통합함.
• 미세조정된 BERT를 교사 모델로 사용하여 훈련 시퀀스의 각 토큰에 대해 소프트 레이블 로짓을 생성함으로써 전역적 시퀀스 수준의 감독을 제공함.
• BERT가 생성한 소프트 타겟을 정규화 항으로 포함한 수정된 MLE 손실을 통해 학생 시퀀스-투-시퀀스 모델(예: Transformer)을 훈련함.
• 학생 모델이 전체 시퀀스에 걸쳐 BERT 교사의 확률 분포를 일치시키도록 유도하는 정복 손실 항목 $\mathcal{L}_{\text{bidi}}$ 를 도입함.
• 추론 과정에서 교사 모델을 분리함으로써 테스트 시 빠른 디코딩을 가능하게 하면서도, 훈련 중에 학습한 이방향적 문맥의 이점을 유지함.

실험 결과

연구 질문

• RQ1 지식 정복을 통해 BERT의 이방향적 문맥 지식이 자기회귀적 텍스트 생성 모델로 효과적으로 전달될 수 있는가?
• RQ2 BERT로부터 전역적 시퀀스 수준의 감독을 통합함으로써 생성된 텍스트의 일관성과 유창성이 향상되는가?
• RQ3 제안된 방법이 아키텍처 제약 없이 다양한 텍스트 생성 과제에서 최신 기술 성능을 달성할 수 있는가?
• RQ4 특히 장문의 시퀀스 생성에서, 이 정복 방법의 성능은 어떻게 되는가?
• RQ5 기계 번역 및 개괄 요약과 같은 다양한 생성 과제에 대해 모델이 일반화 가능한가?

주요 결과

• 제안된 방법은 IWSLT14 독일어-영어 번역 데이터셋에서 새로운 최신 기술 성능을 달성하였으며, 강력한 Transformer 기반 모델들을 능가함.
• IWSLT15 영어-베트남어 번역 데이터셋에서 BLEU 점수 27.85를 기록하여 최고의 기반 모델보다 0.86 BLEU 포인트 높음.
• 긴 시퀀스(N > 24)에서는 기반 모델 대비 일관된 향상이 나타나며, IWSLT 독일어-영어 세트에서 장문 번역에서는 최대 10 BLEU 포인트의 향상이 관찰됨.
• 정성적 분석 결과, 훈련 중 미래 문맥을 활용함으로써 단어 선택 오류(예: 'with' vs. 'at')를 방지하여 더 일관성 있는 출력을 생성함.
• 정복 손실 $\mathcal{L}_{\text{bidi}}$ 는 일반화 능력을 크게 향상시키며, 특히 one-hot 레이블에 대한 과도한 확신을 줄이고 문맥 변화에 대한 강건성을 향상시킴.
• 이 방법은 아키텍처 독립적이며, 파arameter 공유나 아키텍처 수정 없이도 Transformer 및 LSTM 등 다양한 아키텍처와 호환됨.