[논문 리뷰] Weakly Supervised Grammatical Error Correction using Iterative Decoding

Jared Lichtarge, Christopher Alberti외 3명|arXiv (Cornell University)|2018. 10. 31.

Natural Language Processing Techniques참고 문헌 14인용 수 18

한 줄 요약

이 논문은 40억 토큰에 이르는 위키백과 수정 이력 데이터로 사전 훈련된 트랜스포머 모델을 사용하여 약한 지도 학습 방식의 문법 오류 수정(GEC) 시스템을 제안한다. 이 데이터는 본질적으로 노이즈가 많고 GEC를 위해 정제된 바 없이, GEC에 적합하지 않다. 본 논문은 다중 단계에서 점진적인 수정을 적용하는 반복적 디코딩 전략을 도입하여 CoNLL’14 및 JFLEG 벤치마크에서 성능을 크게 향상시켰다. 최종 단계에서 인간이 애너테이션한 GEC 데이터를 전혀 사용하지 않고도 F₀.₅ 58.3(단일 모델) 및 GLEU 62.4(앙상블)의 성능을 달성하였다.

ABSTRACT

We describe an approach to Grammatical Error Correction (GEC) that is effective at making use of models trained on large amounts of weakly supervised bitext. We train the Transformer sequence-to-sequence model on 4B tokens of Wikipedia revisions and employ an iterative decoding strategy that is tailored to the loosely-supervised nature of the Wikipedia training corpus. Finetuning on the Lang-8 corpus and ensembling yields an F0.5 of 58.3 on the CoNLL'14 benchmark and a GLEU of 62.4 on JFLEG. The combination of weakly supervised training and iterative decoding obtains an F0.5 of 48.2 on CoNLL'14 even without using any labeled GEC data.

연구 동기 및 목표

• 대규모 인간 애너테이션 GEC 훈련 데이터의 부족 문제를 해결하기 위해 위키백과 수정 이력 기록을 약한 지도 학습 소스로 활용한다.
• 노이즈가 많고 도메인 외부 데이터로 훈련된 모델의 단일 스텝 디코딩 한계를 극복하기 위해 반복적 수정 프로세스를 도입한다.
• 사전 훈련된 모델이 인간 애너테이션 없이도 반복적 디코딩을 통해 강력한 GEC 성능을 달성할 수 있음을 보여준다.
• 위키백과에서의 편집 방식과 유사한 점진적 편집 스타일을 모델의 행동에 반영하여 도메인 간 전이 성능을 향상시킨다.
• 약한 지도 학습과 반복적 디코딩만을 사용하여 CoNLL’14 및 JFLEG 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 원시 위키백과 수정 이력 데이터 41억 토큰을 대상으로 트랜스포머 시퀀스 투 시퀀스 모델을 사전 훈련하며, 각 편집을 약한 지도 학습 소스-타겟 쌍으로 간주한다.
• 반복적 디코딩 알고리즘을 적용하여 각 단계에서 빔 서치를 수행하고, 정규화된 비용이 정체성 번역 비용 이하일 경우에만 재작성 결과를 수락한다.
• 각 반복 단계에서 모델은 현재 입력에 대해 고신뢰도 수정을 적용하여 새로운 문장을 생성함으로써 점진적인 개선을 가능하게 한다.
• 비용 기반 필터링 메커니즘을 도입하여 의미 있는 저비용 재작성만 수락함으로써 불필요하거나 해로운 수정을 방지한다.
• 사전 훈련된 모델을 Lang-8 GEC 코퍼스로 파인튜닝하고, 네 개의 이러한 모델을 앙상블하여 성능을 추가로 향상시킨다.
• 최종 출력의 강건성과 자연스러움을 향상시키기 위해 언어 모델링 및 철자 검사 모듈을 통합한다.

실험 결과

연구 질문

• RQ1 대규모 노이즈가 많은 위키백과 수정 이력 데이터로 사전 훈련된 트랜스포머 모델이 인간 애너테이션 GEC 데이터 없이도 경쟁 가능한 GEC 성능을 달성할 수 있는가?
• RQ2 약한 지도 학습 및 도메인 외부 데이터로 훈련된 모델에서 반복적 디코딩이 단일 스텝 디코딩 대비 GEC 성능 향상에 기여하는가?
• RQ3 반복적 디코딩이 위키백과 편집과 공식적인 GEC 작업 간의 도메인 갭을 어느 정도 완화할 수 있는가?
• RQ4 약한 지도 학습 사전 훈련에 반복적 디코딩을 결합한 후, Lang-8에서의 파인튜닝과 모델 앙상블이 성능에 어떤 영향을 미치는가?
• RQ5 위키백과 편집 데이터로 훈련된 모델이 CoNLL’14 및 JFLEG와 같은 GEC 벤치마크로 일반화 가능한가? 기존 최신 기술 수준 방법과 비교해보면 어떻게 되는가?

주요 결과

• 인간 애너테이션 GEC 데이터를 전혀 사용하지 않고 위키백과 수정 이력 데이터만으로 사전 훈련하고 반복적 디코딩을 적용한 결과, CoNLL’14 벤치마크에서 F₀.₅ 48.2를 달성하였다.
• Lang-8에서 파인튜닝하고 반복적 디코딩을 적용한 단일 모델은 CoNLL’14에서 F₀.₅ 58.3을 기록하여 단일 모델 기준 최신 기술 수준을 달성하였다.
• 파인튜닝된 네 개의 모델을 반복적 디코딩과 함께 앙상블한 결과, CoNLL’14에서 F₀.₅ 58.3, JFLEG에서 GLEU 62.4를 기록하여 최신 기술 수준의 성능을 달성하였다.
• 반복적 디코딩은 단일 스텝 디코딩 대비 성능 향상 폭이 크며, 특히 파인튜닝 없이 훈련된 모델의 경우 성능 향상이 두드러진다.
• 위키백과 편집 데이터로만 훈련된 모델은 문법 오류 외에도 문장의 간결성, 명확성 향상 등 스타일적으로 유익한 수정을 다수 수행하지만, 이는 GEC에 부적절한 경우가 많다. 이는 파인튜닝을 통한 도메인 적응의 필요성을 시사한다.
• Lang-8에서의 파인튜닝은 모델의 행동을 보수적이고 문법 중심의 수정으로 이동시켜 편집 스타일의 변화를 줄이고 GEC 목표와의 일치도를 향상시킨다.