[논문 리뷰] Stronger Baselines for Grammatical Error Correction Using Pretrained Encoder-Decoder Model

Satoru Katsumata, Mamoru Komachi|arXiv (Cornell University)|2020. 05. 24.

Natural Language Processing Techniques참고 문헌 16인용 수 5

한 줄 요약

이 논문은 대규모 가짜데이터에 대한 작업별 사전학습이 필요 없이, 사전학습된 BART 인코더-디코더 모델을 문법 오류 수정(GEC)에 대한 강력하고 일반적인 기준선으로 사용할 것을 제안한다. 이 방법은 영어 GEC에서 최신 기준 수준의 성능을 달성하며, 단지 피니튜닝만으로도 여러 언어에서 뛰어난 성능을 보이며, BART가 GEC에 대한 단순하고 높은 성능을 보이는 기준선으로서의 효과를 입증한다.

ABSTRACT

Studies on grammatical error correction (GEC) have reported the effectiveness of pretraining a Seq2Seq model with a large amount of pseudodata. However, this approach requires time-consuming pretraining for GEC because of the size of the pseudodata. In this study, we explore the utility of bidirectional and auto-regressive transformers (BART) as a generic pretrained encoder-decoder model for GEC. With the use of this generic pretrained model for GEC, the time-consuming pretraining can be eliminated. We find that monolingual and multilingual BART models achieve high performance in GEC, with one of the results being comparable to the current strong results in English GEC. Our implementations are publicly available at GitHub (https://github.com/Katsumata420/generic-pretrained-GEC).

연구 동기 및 목표

• 작업별 사전학습이 필요 없는 일반적인 사전학습된 인코더-디코더 모델이 문법 오류 수정(GEC)에 대해 강력한 기준선이 될 수 있는지 조사하기 위해.
• 영어, 독일어, 체코어, 러시아어 GEC 작업에서 단일언어 및 다국어 BART 모델의 성능을 평가하기 위해.
• 기존의 광범위한 가짜데이터 생성과 작업 중심 사전학습에 의존하는 최신 기준 모델들과 비교하여, BART와 같은 일반적인 사전학습 모델의 효과성을 평가하기 위해.
• BART의 사전학습 목표인 시퀀스 마스킹 및 셔플링이, 특히 어순 및 구두점 오류를 포함한 다양한 오류 유형을 다룰 수 있도록 하는지 평가하기 위해.

제안 방법

• 영어, 독일어, 체코어, 러시아어 GEC 작업에 대해 가짜데이터에 대한 추가 사전학습 없이 표준 GEC 데이터셋에서 단일언어 및 다국어 BART 모델을 피니튜닝하기 위해.
• BART 모델의 사전학습 목표인 토큰 스트림의 마스킹 및 셔플링을 수행하고 원래 시퀀스를 예측하는 방식을 GEC에 잘 일반화되는 인덕티브 바이어스로 활용하기 위해.
• 기존 GEC 데이터셋에서의 병렬 단일언어 문장(원본 및 수정된 문장)에 대해 표준 순서-순서 학습과 교차 엔트로피 손실을 적용하기 위해.
• BEA-19 및 WMT 데이터셋에서 표준 평가 지표인 정밀도(P), 재현율(R), F0.5 점수를 사용하여 성능을 평가하기 위해.
• 가짜데이터 생성과 작업 중심 사전학습에 의존하는 강력한 기준선(예: Náplava와 Straka, 2019; Kaneko 등, 2020)과의 성능 비교를 위해.
• 여러 랜덤 시드를 사용한 앙상블 모델링을 포함한 아블레이션 스터디를 수행하여 BART 기반 GEC 성능의 안정성과 강건성을 평가하기 위해.

실험 결과

연구 질문

• RQ1 BART와 같은 일반적인 사전학습된 인코더-디코더 모델이 대규모 가짜코퍼스에 대한 작업별 사전학습 없이도 GEC에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 다양한 언어에서 자원이 적거나 많을 때 단일언어 BART와 다국어 BART의 성능는 어떻게 비교되는가?
• RQ3 Kaneko 등(2020)이 사용한 작업별 가짜데이터 사전학습을 활용한 모델과 비교해 BART는 어떤 오류 유형에서 슈퍼리어하거나 劣화되는가?
• RQ4 BART의 사전학습 목표인 시퀀스 마스킹 및 셔플링이 어순, 구두점, 형태소 오류와 같은 오류를 다룰 수 있는 충분한 인덕티브 바이어스를 제공하는가?
• RQ5 BART는 향후 GEC 연구에서 복잡한 가짜데이터 생성 파이프라인을 줄이기 위해 신뢰할 수 있고 단순한 기준선이 될 수 있는가?

주요 결과

• 영어 GEC의 BEA-19 테스트 세트에서 단일언어 BART 모델은 F0.5 점수 74.1을 기록했으며, 이는 현재의 강력한 결과들과 유사한 성능을 보이며, 강력한 기준선로서의 효과를 입증한다.
• 독일어 GEC에서 다국어 BART(mBART) 모델은 최신 기준 모델보다 F0.5 점수 4.45점 낮게 기록했지만, 단지 피니튜닝만으로도 높은 성능를 보였다.
• 체코어 GEC에서 mBART 기반 모델은 최신 기준 모델보다 F0.5 점수 6.65점 낮게 기록했으며, 이는 자원이 적은 환경에서 다국어 사전학습이 노이즈를 유발할 수 있음을 시사한다.
• 러시아어 GEC에서 mBART 모델은 최신 기준 모델보다 유의미하게 낮은 성능를 보였는데, 이는 훈련 데이터가 제한되어 있기 때문일 가능성이 높다. 그러나 1000만 개의 가짜코퍼스로 피니튜닝한 결과 성능이 향상되어 데이터 부족 가설을 지지한다.
• BART 기반 모델은 PUNCT 오류에서 Kaneko 등(2020)보다 F0.5 점수 5.6점 높게 기록했으며, 이는 BART의 사전학습 목표가 구두점 수정에 도움이 된다는 것을 시사한다.
• Kaneko 등(2020)은 ORTH 및 SPELL 오류에서 BART 기반 모델보다 F0.5 점수 5점 이상 높게 기록했으며, 이는 가짜데이터 사전학습에서의 문자 수준 오류 모델링이 BART의 스트림 마스킹 목표보다 이러한 오류에 더 효과적임을 시사한다.