[논문 리뷰] A Comprehensive Survey of Grammar Error Correction

Yu Wang, Yuelin Wang외 2명|arXiv (Cornell University)|2020. 05. 02.

Natural Language Processing Techniques참고 문헌 98인용 수 24

한 줄 요약

이 종합 검토는 2010년에서 2020년까지의 문법 오류 수정(GEC) 연구를 종합적으로 다루며, 다섯 가지 주요 데이터셋, 두 가지 공동 과제, 네 가지 표준 평가 지표, 그리고 네 가지 핵심 접근 방식인 통계적 및 신경 기반 기계 번역, 분류 기반, 언어 모델 기반 방법을 포함한다. 성능 향상 기법, 데이터 증강 전략, 시스템 통합 패턴을 분석한 후, 다섯 가지 향후 연구 방향을 제시하며, 2010년대 후반에 인간 수준 성능에 도달한 바를 고려할 때, GEC 발전의 첫 번째 종합적 후기 평가이다.

ABSTRACT

Grammar error correction (GEC) is an important application aspect of natural language processing techniques. The past decade has witnessed significant progress achieved in GEC for the sake of increasing popularity of machine learning and deep learning, especially in late 2010s when near human-level GEC systems are available. However, there is no prior work focusing on the whole recapitulation of the progress. We present the first survey in GEC for a comprehensive retrospect of the literature in this area. We first give the introduction of five public datasets, data annotation schema, two important shared tasks and four standard evaluation metrics. More importantly, we discuss four kinds of basic approaches, including statistical machine translation based approach, neural machine translation based approach, classification based approach and language model based approach, six commonly applied performance boosting techniques for GEC systems and two data augmentation methods. Since GEC is typically viewed as a sister task of machine translation, many GEC systems are based on neural machine translation (NMT) approaches, where the neural sequence-to-sequence model is applied. Similarly, some performance boosting techniques are adapted from machine translation and are successfully combined with GEC systems for enhancement on the final performance. Furthermore, we conduct an analysis in level of basic approaches, performance boosting techniques and integrated GEC systems based on their experiment results respectively for more clear patterns and conclusions. Finally, we discuss five prospective directions for future GEC researches.

연구 동기 및 목표

• 2010년에서 2020년까지의 문법 오류 수정(GEC) 연구에 대한 완전한 후기 평가를 제공하기 위해.
• 다섯 개인 공개 GEC 데이터셋, 두 가지 공동 과제, 네 가지 표준 평가 지표에 걸쳐 지식을 체계화하기 위해.
• SMT 기반, NMT 기반, 분류 기반, 언어 모델 기반 방법을 포함한 네 가지 기본 GEC 접근 방식의 아키텍처와 성능를 분석하고 비교하기 위해.
• 최신 GEC 시스템에서 사용된 여섯 가지 성능 향상 기법과 두 가지 데이터 증강 방법을 식별하고 평가하기 위해.
• 향후 GEC 개발을 위한 다섯 가지 잠재적 연구 방향을 제시하기 위해.

제안 방법

• 2010년에서 2020년까지의 GEC 연구에 대한 체계적 문헌 검토로, 공개 데이터셋, 어노테이션 스키마, 평가 프로토콜에 중점을 둔다.
• GEC 시스템을 네 가지 주요 접근 방식으로 분류한다: 통계적 기계 번역(SMT), 신경 기계 번역(NMT), 분류 기반, 언어 모델 기반 방법.
• 기계 번역에서 유래한 여섯 가지 성능 향상 기법을 분석한다: 어텐션 메커니즘, 드롭아웃, 범프 서치, 커리큘럼 학습, 적대적 훈련, 앙상블 방법.
• 두 가지 데이터 증강 기법을 검토한다: 백트랜슬레이션과 규칙 기반 또는 신경 기반 방법을 사용한 합성 오류 생성.
• 데이터셋과 평가 지표에 따른 성능 추세를 기반으로 통합된 GEC 시스템을 비교 평가한다.
• 베이지라인 실험의 실증적 결과를 바탕으로 방법론적 진화와 성능 향상 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 GEC 연구 환경을 규정짓는 주요 공개 데이터셋, 어노테이션 스키마, 평가 지표는 무엇인가?
• RQ2 SMT 기반, NMT 기반, 분류 기반, 언어 모델 기반 방법이라는 네 가지 주요 접근 방식은 아키텍처와 성능에서 어떻게 다를까?
• RQ3 기계 번역에서 유래한 성능 향상 기법 중 GEC 시스템 정확도 향상에 가장 효과적이었던 것은 무엇인가?
• RQ4 백트랜슬레이션과 합성 오류 생성을 포함한 데이터 증강 전략은 GEC 모델의 일반화 능력을 어떻게 향상시키는가?
• RQ5 현재 인간 수준 성능에 도달한 상황을 고려할 때, 향후 문법 오류 수정을 발전시키기 위한 가장 유망한 연구 방향은 무엇인가?

주요 결과

• 2010년대 후반에 신경 기계 번역(NMT) 모델을 통해 거의 인간 수준의 성능이 달성되었다.
• 어텐션 메커니즘과 깊은 아키텍처를 활용한 NMT 기반 접근 방식이 SMT 기반 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 커리큘럼 학습과 적대적 훈련과 같은 성능 향상 기법이 CoNLL-2014 및 FCE와 같은 표준 베이지라인에서 측정 가능한 향상을 이끌었다.
• 백트랜슬레이션을 통한 데이터 증강은 저자원 환경에서의 제로샷 일반화 능력과 모델의 강건성을 향상시켰다.
• 특히 어 attention과 드롭아웃을 포함한 NMT 기반 시스템과 다양한 기법을 통합한 시스템이 공개 테스트 세트에서 가장 높은 F0.5 점수를 기록했다.
• 진전에도 불구하고, 희귀 오류 처리, 유창성 유지, 다양한 글쓰기 스타일과 도메인에 대한 일반화 문제 등 여전히 도전 과제가 남아 있다.