[논문 리뷰] Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction

Masahiro Kaneko, Masato Mita외 3명|arXiv (Cornell University)|2020. 05. 03.

Natural Language Processing Techniques참고 문헌 36인용 수 7

한 줄 요약

이 논문은 사전에 훈련된 마스킹 언어 모델(MLM), 예를 들어 BERT를 GEC 전용 데이터로 미세조정한 후, 그 문맥적 표현을 GEC 모델의 추가 특징으로 사용하여 인코더-디코더 모델의 성능을 향상시키는 새로운 방법을 제안한다. 특히 GEC 태스크에 특화된 문법 오류 탐지(GED)로 미세조정한 BERT-fuse GED는 BEA-2019 및 CoNLL-2014 벤치마크에서 기존 표준 초기화 및 융합 방법을 능가하는 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

This paper investigates how to effectively incorporate a pre-trained masked language model (MLM), such as BERT, into an encoder-decoder (EncDec) model for grammatical error correction (GEC). The answer to this question is not as straightforward as one might expect because the previous common methods for incorporating a MLM into an EncDec model have potential drawbacks when applied to GEC. For example, the distribution of the inputs to a GEC model can be considerably different (erroneous, clumsy, etc.) from that of the corpora used for pre-training MLMs; however, this issue is not addressed in the previous methods. Our experiments show that our proposed method, where we first fine-tune a MLM with a given GEC corpus and then use the output of the fine-tuned MLM as additional features in the GEC model, maximizes the benefit of the MLM. The best-performing model achieves state-of-the-art performances on the BEA-2019 and CoNLL-2014 benchmarks. Our code is publicly available at: https://github.com/kanekomasahiro/bert-gec.

연구 동기 및 목표

• 사전에 훈련된 MLM(예: BERT)이 문법적으로 올바른 텍스트에서 학습된 반면, GEC 코퍼스에서는 일반적으로 오류가 포함된 입력 분포를 반영하지 못하는 격차를 해소하기 위해.
• 표준 MLM 통합 방법(예: 초기화 또는 특징 융합)이 GEC 성능 향상에 실제로 효과적인지 조사하기 위해.
• GEC 모델의 특징으로 사용하기 전에 MLM을 GEC 데이터로 미세조정하는 새로운 방법을 제안하고 평가하기 위해.
• MLM의 태스크 특화된 미세조정이 순차적-순차적 GEC 모델에서의 유용성을 향상시키는지 확인하기 위해.

제안 방법

• GEC 코퍼스에서 문법 오류 탐지(GED) 태스크를 사용해 사전에 훈련된 BERT 모델을 미세조정하여 오류가 발생하기 쉬운 입력 분포에 적응된 표현을 얻기 위해.
• 미세조정된 BERT의 최종 레이어에서 유도된 문맥적 표현을 인코더-디코더 GEC 모델의 추가 입력 특징으로 사용하기 위해.
• 이 방법(BERT-fuse GED)을 표준 방법들과 비교하기 위해: BERT 초기화(BERT-init) 및 사전에 훈련된 BERT를 사용한 특징 융합(BERT-fuse).
• 추가로, GEC 수정 태스크로 직접 BERT를 미세조정한 변형(BERT-fuse mask)을 비교 평가하기 위해.
• 최고 성능을 보인 모델들을 R2L 재순서 정렬 기법을 사용해 조합하여 성능을 추가로 향상시키기 위해.
• ERRANT 툴킷을 사용해 텐스, 관형사, 전치사, 문장 부호 오류를 포함한 다양한 오류 유형에서 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 사전에 훈련된 마스킹 언어 모델(예: BERT)이 인코더-디코더 모델의 문법 오류 수정(GEC) 성능을 향상시킬 수 있는가?
• RQ2 GEC 전용 데이터로 사전에 훈련된 MLM을 미세조정하면 사전에 훈련된 상태의 모델보다 성능이 향상되는가?
• RQ3 F0.5 점수 기준으로 BERT-fuse GED의 성능이 BERT-init 및 BERT-fuse와 비교해 다양한 오류 유형에서 어떻게 다른가?
• RQ4 미세조정된 BERT 표현을 추가 특징으로 사용하는 것이 BERT 파rameter로 직접 모델을 초기화하는 것보다 더 나은 성능을 내는가?
• RQ5 BERT-fuse GED 방법을 앙상블 및 재순서 정렬 기법과 조합하면 표준 GEC 벤치마크에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 문법 오류 탐지(GED) 태스크로 사전에 훈련된 BERT를 미세조정한 후 그 표현을 특징으로 사용하는 BERT-fuse GED 방법은 모든 평가된 데이터셋에서 BERT-init 및 BERT-fuse를 모두 능가했다.
• BERT-fuse GED 모델은 BEA-2019 및 CoNLL-2014 벤치마크에서 최신 기술 수준 성능을 달성했으며, 앙상블 모델을 사용할 경우 F0.5 점수에서 0.2점 향상된 성과를 보였다.
• 미세조정된 BERT 표현은 일반 BERT가 올바른 표현과 잘못된 표현을 구분하지 못하는 데 반해, 은닉 공간에서 올바른 표현과 잘못된 표현을 명확히 구분한다.
• 이 방법은 VERB:TENSE, DET, PREP, PUNCT를 포함한 주요 오류 유형 전반에서 성능 향상을 보였으며, F0.5 점수에서 1.3에서 4.4점의 향상이 있었다.
• 은닉 표현 시각화 결과는 미세조정된 BERT가 문법 오류 정보를 인코딩하는 데 성공했으며, 올바른 표현과 잘못된 표현을 위한 별도의 클러스터를 형성함을 확인했다.
• BERT-fuse GED 모델은 BERT-fuse mask를 항상 능가했으며, 이는 GED에 특화된 미세조정이 MLM 표현이 GEC 태스크에 더 잘 맞도록 조정됨을 시사한다.