[논문 리뷰] A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction

Shamil Chollampatt, Hwee Tou Ng|arXiv (Cornell University)|2018. 01. 26.

Natural Language Processing Techniques인용 수 98

한 줄 요약

멀티레이어 합성곱 인코더-디코더를 GEC에 도입하여 최신 연구 성과를 달성하고 SMT 기본 모델을 능가하며 재점수화(rescoring) 및 앙상블을 활용한다.

ABSTRACT

We improve automatic correction of grammatical, orthographic, and collocation errors in text using a multilayer convolutional encoder-decoder neural network. The network is initialized with embeddings that make use of character N-gram information to better suit this task. When evaluated on common benchmark test data sets (CoNLL-2014 and JFLEG), our model substantially outperforms all prior neural approaches on this task as well as strong statistical machine translation-based systems with neural and task-specific features trained on the same data. Our analysis shows the superiority of convolutional neural networks over recurrent neural networks such as long short-term memory (LSTM) networks in capturing the local context via attention, and thereby improving the coverage in correcting grammatical errors. By ensembling multiple models, and incorporating an N-gram language model and edit features via rescoring, our novel method becomes the first neural approach to outperform the current state-of-the-art statistical machine translation-based approach, both in terms of grammaticality and fluency.

연구 동기 및 목표

• 영어 텍스트의 문법, 철자, 조합 오류 자동 수정 향상.
• 완전 합성곱 인코더-디코더가 GEC에서 RNN 기반 신경 모델을 능가할 수 있다는 것을 보여준다.
• 희귀어 처리를 위해 사전 학습된 단어 임베딩 및 하위 단어 표현을 활용한다.
• 성능 향상을 위해 N-gram 언어 모델과 재점수를 통한 편집 특징을 포함한다.
• 앙상블이 단일 모델을 넘어 GEC 성능을 향상시킨다는 것을 보여준다.

제안 방법

• 일곱 개의 인코더 층과 일곱 개의 디코더 층, 각 디코더 층에 어텐션을 갖는 완전 합성곱 인코더-디코더 아키텍처를 제안한다.
• BPE 기반 서브워드 토크나이제이션과 fastText에서 파생된 임베딩을 사용하되, 대형 영어 말뭉치로부터 초기화한다.
• fastText를 통해 형태소를 포착하기 위해 임베딩에 문자 N-그램 정보를 포함한다.
• 음의 로그우도 손실로 학습하고 Nesterov 가속 그래디언트로 최적화한다.
• 왼쪽→오른쪽 빔 탐색으로 디코딩하고 여러 모델을 앙상블하여 최종 확률을 얻는다.
• 편집 연산 및 언어 모델 특징을 포함하는 로그선형 모델로 빔 후보를 재점수화하고, MERT로 학습시킨다.

실험 결과

연구 질문

• RQ1 주의가 있는 다층 합성곱 인코더-디코더가 문법 오류 수정에서 순환 신경망 모델을 능가할 수 있을까?
• RQ2 사전 학습 임베딩과 서브워드 표현이 GEC 성능에 미치는 영향은 무엇인가?
• RQ3 편집 연산 및 언어 모델 특징을 포함한 앙상블 및 재점수가 GEC 정확도와 유창성을 향상시키는가?
• RQ4 GEC 오류에 대한 정밀도와 재현율 측면에서 합성곱 아키텍처가 BiLSTM과 얼마나 비교되는가?
• RQ5 외부 말뭉치와 웹 규모의 언어 모델을 포함하는 것이 CoNLL-2014와 JFLEG 데이터셋에 어떤 효과를 가져오는가?

주요 결과

시스템	병렬 말뭉치	데이터 공개 여부?	기타	CoNLL-2014 테스트 세트 - Prec.	CoNLL-2014 테스트 세트 - Recall	CoNLL-2014 테스트 세트 - F0.5
SMT	L8, NUCLE	Yes	–	57.94	16.48	38.54
SMT +NNJM	L8, NUCLE	Yes	–	58.38	18.83	41.11
MLConv	L8, NUCLE	Yes	–	59.68	23.15	45.36
MLConv (4 ens.)	L8, NUCLE	Yes	–	67.06	22.52	48.05
MLConv (4 ens.) + EO	L8, NUCLE	Yes	–	62.36	27.55	49.78
MLConv embed	L8, NUCLE	Yes	Wiki	60.90	23.74	46.38
MLConv embed (4 ens.)	L8, NUCLE	Yes	Wiki	68.13	23.45	49.33
MLConv embed (4 ens.) + EO	L8, NUCLE	Yes	Wiki	63.12	28.36	50.70
MLConv embed (4 ens.) + EO + LM	L8, NUCLE	Yes	Wiki	65.18	32.26	54.13
MLConv embed (4 ens.) + EO + LM + SpellCheck	L8, NUCLE	Yes	Wiki, CC	65.49	33.14	54.79

• Ensembling 및 rescoring을 사용할 때 MLConv 모델은 CoNLL-2014에서 이전의 신경 접근법 및 SMT 베이스라인을 능가한다.
• fastText로 임베딩을 사전 학습하고 서브워드 단위를 사용하는 것이 무작위 초기화나 Word2Vec 초기화에 비해 성능을 향상시킨다.
• 재점수화가 CoNLL-2014에서 F0.5를 크게 향상시키고 JFLEG에서 GLEU/F0.5를 개선한다.
• EO/LM을 포함한 네 모델 앙상블의 MLConv가 일부 구성에서 외부 철자 검사 없이도 최첨단 결과를 달성한다.
• 합성곱 아키텍처는 국소적 맥락을 효과적으로 포착하고, 다층 어텐션과 함께 많은 경우 RNN보다 국소적 오류를 더 잘 수정한다.