[논문 리뷰] Improving Grammatical Error Correction with Machine Translation Pairs

Wangchunshu Zhou, Tao Ge외 4명|arXiv (Cornell University)|2019. 11. 07.

Natural Language Processing Techniques참고 문헌 43인용 수 7

한 줄 요약

이 논문은 문법 오류 교정(GEC)을 위한 새로운 데이터 합성 방법을 제안하며, 한 명의 저질(외국어 학습자처럼 보이는) 번역 모델과 한 명의 고급(유창하고 문법적으로 올바른 출력을 생성하는) 번역 모델을 조합하여 단일 언어의 원본 텍스트에서 다양하고 현실적인 오류 수정 문장 쌍을 생성한다. 이 방법은 기존의 데이터 증강 기법보다 뛰어나며, 규칙 집합이나 기초 병렬 데이터에 의존하지 않고 다양한 오류 패턴을 생성함으로써 BEA-19 및 CoNLL-14 벤치마크에서 최신 기술 수준의 성능을 달성하는 데 성공한다.

ABSTRACT

We propose a novel data synthesis method to generate diverse error-corrected sentence pairs for improving grammatical error correction, which is based on a pair of machine translation models of different qualities (i.e., poor and good). The poor translation model resembles the ESL (English as a second language) learner and tends to generate translations of low quality in terms of fluency and grammatical correctness, while the good translation model generally generates fluent and grammatically correct translations. We build the poor and good translation model with phrase-based statistical machine translation model with decreased language model weight and neural machine translation model respectively. By taking the pair of their translations of the same sentences in a bridge language as error-corrected sentence pairs, we can construct unlimited pseudo parallel data. Our approach is capable of generating diverse fluency-improving patterns without being limited by the pre-defined rule set and the seed error-corrected data. Experimental results demonstrate the effectiveness of our approach and show that it can be combined with other synthetic data sources to yield further improvements.

연구 동기 및 목표

• 기존의 GEC 데이터 합성 기법이 고정된 규칙나 기초 병렬 데이터에 의존함으로써 오직 좁은 범위의 오류 패턴만 생성하는 한계를 해결하기 위해.
• 수동으로 주석 처리된 오류 데이터가 필요 없이 다양하고 현실적인 문법 오류 수정 쌍을 생성하는 데이터 증강 기법을 개발하기 위해.
• 제2외국어 학습자들의 오류 패턴을 모방하는 합성 데이터를 사전 훈련하여 GEC 모델 성능을 향상시키기 위해.
• 낮은 품질과 높은 품질의 번역 모델 간의 대비를 활용하여 GEC 데이터 합성의 새로운 패러다임을 탐색하기 위해.

제안 방법

• 낮은 언어 모델 가중치를 가진 어절 기반 SMT 모델을 훈련하여 '초보자' 번역기로 기능하도록 하여, 낮은 유창성과 문법적으로 잘못된 번역을 생성하게 한다. 이는 외국어 학습자의 출력과 유사하게 만든다.
• 최신 기술 수준의 NMT 모델을 '숙련자' 번역기로 사용하여 동일한 원본 문장을 유창하고 문법적으로 올바른 번역을 생성한다.
• SMT가 생성한(오류가 있는) 번역과 NMT가 생성한(정확한) 번역을 짝지어 합성된 오류 수정 문장 쌍을 형성한다.
• 수신된 합성 쌍을 사용하여 GEC 모델을 사전 훈련하며, 두 번역 모델 간의 대비로 유도된 다양한 오류 패턴을 활용한다.
• 동일한 원본 문장을 두 번역 모델에 모두 사용하여 의미 일관성을 확보하고, 의미의 이탈을 최소화하면서 동시에 문법적 다양성을 극대화한다.
• BEA-19 및 CoNLL-14 벤치마크에서 규칙 기반, 백트랜슬레이션, 위키백과 수정, 순환 번역 데이터 합성 방법과의 성능 비교를 통해 방법을 평가한다.

실험 결과

연구 질문

• RQ1 다른 품질 수준을 가진 번역 모델 쌍이 GEC 데이터 증강을 위해 다양하고 현실적인 문법 오류 수정 문장 쌍을 생성할 수 있는가?
• RQ2 제안된 방법은 규칙 기반 오염, 백트랜슬레이션, 위키백과 수정, 순환 번역 등의 기존 데이터 합성 기법과 비교해 성능 면에서 어떻게 다른가?
• RQ3 저품질 및 고급 번역 모델 쌍을 사용해 생성된 합성 데이터가 표준 벤치마크에서 GEC 모델 성능을 얼마나 향상시킬 수 있는가?
• RQ4 이 방법은 기존 방법보다 실제 외국어 학습자 오류 패턴을 더 잘 대변하는 오류 패턴을 생성하는가?
• RQ5 대규모 주석 처리된 오류 수정 데이터셋에 의존하지 않고도 이 방법이 최신 기술 수준의 GEC 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 다양한 오류 수정 문장 쌍을 생성하여 기존의 데이터 합성 기법을 효과적으로 보완하며, GEC 모델의 일반화 능력을 향상시킨다.
• 저품질(SMT) 및 고급(NMT) 번역 모델 쌍이 생성한 합성 데이터는 BEA-19 및 CoNLL-14 벤치마크 양쪽에서 GEC 모델 성능을 크게 향상시킨다.
• 사전 훈련에 사용될 경우, 이 방법은 BEA-19 및 CoNLL-14 벤치마크에서 최신 기술 수준의 단일 모델 성능을 달성한다.
• 규칙 기반 오염, 백트랜슬레이션, 위키백과 수정, 순환 번역 방법보다 오류 패턴의 다양성과 효과성 면에서 모두 뛰어나다.
• 의미의 이탈을 방지하고 수정된 문장의 유창성을 유지하면서도 현실적인 문법 오류를 도입함으로써 자동 평가 및 인간 평가를 통해 검증되었다.
• 성능 향상의 원인은 SMT 모델의 직역적이고 오류가 많은 번역과 NMT 모델의 매끄럽고 문법적으로 올바른 출력 간의 대비에 기인하며, 이로 인해 고품질의 합성 데이터가 생성된다.