[논문 리뷰] Reaching Human-level Performance in Automatic Grammatical Error Correction: An Empirical Study

Tao Ge, Furu Wei외 1명|arXiv (Cornell University)|2018. 07. 03.

Natural Language Processing Techniques참고 문헌 39인용 수 97

한 줄 요약

이 논문은 유창성 부스트 학습과 유창성 부스트 추론을 도입하여 합성 seq2seq GEC 모델의 유창성을 향상시키고 CoNLL-2014 및 JFLEG 벤치마크에서 인간 수준의 성능을 달성한다. 또한 다중 라운드 및 라운드-방향 보정을 제시하여 유창성을 점진적으로 개선한다.

ABSTRACT

Neural sequence-to-sequence (seq2seq) approaches have proven to be successful in grammatical error correction (GEC). Based on the seq2seq framework, we propose a novel fluency boost learning and inference mechanism. Fluency boosting learning generates diverse error-corrected sentence pairs during training, enabling the error correction model to learn how to improve a sentence's fluency from more instances, while fluency boosting inference allows the model to correct a sentence incrementally with multiple inference steps. Combining fluency boost learning and inference with convolutional seq2seq models, our approach achieves the state-of-the-art performance: 75.72 (F_{0.5}) on CoNLL-2014 10 annotation dataset and 62.42 (GLEU) on JFLEG test set respectively, becoming the first GEC system that reaches human-level performance (72.58 for CoNLL and 62.37 for JFLEG) on both of the benchmarks.

연구 동기 및 목표

• 신경망 GEC에서 주석 데이터의 한계에도 불구하고 일반화 개선 동기를 제시한다.
• 다양한 학습 사례를 생성하기 위한 유창성 지향 데이터 증강을 제안한다.
• 문장을 점진적으로 유창하게 개선하기 위한 다중 라운드 및 라운드-방향 추론을 개발한다.
• 유창성 부스트 학습을 강화하기 위해 원어 영어 데이터를 활용한다.
• 주요 벤치마크에서 인간 성능에 도달하거나 초과하는 최첨단 결과를 보여준다.

제안 방법

• 언어 모델로부터의 교차 엔트로피를 기반으로 하는 유창성 점수(f(x) = 1/(1+H(x)))를 정의하여 유창한 문장과 비유창한 문장을 식별한다.
• 유창한 문장을 덜 유창하지만 의미를 보존하는 형태로 변환하여 추가 학습 쌍을 생성하는 유창성 부스트 학습을 도입한다( back-boost, self-boost, dual-boost).
• back-boost를 사용하여 학습 데이터에 사용할 비유창성 후보를 생성하는 역방향 오류 생성 모델을 학습한다.
• 자신의 n-최상 출력에서 비유창성 후보를 제안하는 GEC 모델 자체를 활용하는 self-boost를 사용한다.
• 다양한 비유창성 후보 생성을 극대화하기 위해 back-boost와 self-boost를 결합한 dual-boost 학습(동적 모델 업데이트와 함께)을 적용한다.
• 대규모 원어 데이터(예: English Wikipedia)로 학습 세트를 확장하여 학습 데이터를 보강하는 유창성 부스트 학습을 확장한다(S = S* ∪ C).
• 각 편집이 유창성을 개선하면 다중 라운드 수정이 가능하도록 유창성 부스트 추론을 구현한다(오른쪽-왼쪽 디코더와 왼쪽-오른쪽 디코더를 사용하는 round-way 보정).
• CNN 기반 seq2seq 아키텍처(7-layer)와 어텐션을 사용하고 네스테로프 모먼트럼으로 학습하며 앙상블 디코딩으로 평가한다; CoNLL-2014(F0.5)와 JFLEG(GLEU)로 평가한다.

실험 결과

연구 질문

• RQ1 유창성 중심의 데이터 증강이 원래의 오류 수정 쌍을 넘어 GEC 일반화를 개선할 수 있는가?
• RQ2 다중 라운드/점진적 편집(유창성 부스트 추론)이 초기 편집 이후 수정 기능을 향상시키는가?
• RQ3 dual-boost 전략(back- 및 self-boost)이 단일 부스트 방식보다 더 다양하고 유용한 학습 신호를 제공하는가?
• RQ4 의미를 바꾸지 않으면서 대규모 원어 데이터를 도입하면 GEC 성능을 더 높일 수 있는가?
• RQ5 라운드-방향 보정에서 오른쪽에서 왼쪽 디코더와 왼쪽에서 오른쪽 디코더가 서로 보완적으로 작용해 오류 유형 전반의 재현율을 높이는가?

주요 결과

• 제안된 방법은 CoNLL-2014 10-annotation 데이터 세트에서 75.72 F0.5, JFLEG에서 62.42 GLEU를 달성하여 두 벤치마크에서 인간 수준의 성능에 근접하거나 도달했다.
• 유창성 부스트 학습은 기본 CNN seq2seq 모델의 정확도, 재현율, F0.5, GLEU를 모두 향상시켰다.
• 유창성 부스트 추론은 재현율을 증가시키며(예: CoNLL-2014 36.30→40.18; CoNLL-10 50.31→53.15), 정밀도에서의 트레이드오프가 발생하나 JFLEG의 유창성은 개선되었다.
• 라운드-방향 보정(오른쪽에서 왼쪽으로 보정 후 왼쪽에서 오른쪽으로 보정)은 여러 오류 유형에서 재현율을 높여 보정 순서가 서로 보완적임을 확인했다.
• 유창성 부스트 학습(특히 학습과 추론을 모두 사용할 때)으로 인해 기존의 여러 GEC 시스템을 상회하거나 인간 성능에 근접하는 다양한 지표를 달성했다.
• 대 규모 원어 데이터를 사용한 학습은 유창성과 일반화를 더욱 향상시켜 더 강한 보정 가능성을 제공한다.