[논문 리뷰] Neural Language Correction with Character-Based Attention

Ziang Xie, Anand Avati외 3명|arXiv (Cornell University)|2016. 03. 31.

Natural Language Processing Techniques참고 문헌 26인용 수 124

한 줄 요약

이 논문은 주목(attention)을 갖춘 문자 수준 인코더-디코더를 사용한 언어 교정 방법을 제시하여 CoNLL-2014에서 최첨단 결과를 달성하고 데이터 증강 및 편집 분류기로 개선된다.

ABSTRACT

Natural language correction has the potential to help language learners improve their writing skills. While approaches with separate classifiers for different error types have high precision, they do not flexibly handle errors such as redundancy or non-idiomatic phrasing. On the other hand, word and phrase-based machine translation methods are not designed to cope with orthographic errors, and have recently been outpaced by neural models. Motivated by these issues, we present a neural network-based approach to language correction. The core component of our method is an encoder-decoder recurrent neural network with an attention mechanism. By operating at the character level, the network avoids the problem of out-of-vocabulary words. We illustrate the flexibility of our approach on dataset of noisy, user-generated text collected from an English learner forum. When combined with a language model, our method achieves a state-of-the-art $F_{0.5}$-score on the CoNLL 2014 Shared Task. We further demonstrate that training the network on additional data with synthesized errors can improve performance.

연구 동기 및 목표

• 소음이 많은 학습자 생성 텍스트에 대한 언어 교정의 동기 및 고정된 오류 유형 분류기 이상의 유연한 오류 처리 제안.
• 문자 수준 입력/출력을 갖는 신경망 인코더-디코더와 주의(attention) 메커니즘을 제시하여 정 orthographic 오류와 OOV를 처리.
• Lang-8과 CoNLL 데이터셋에서의 효과를 시연하고 데이터 증강 및 정밀도 중심 필터링을 탐구.

제안 방법

• 입력을 압축 표현으로 매핑하기 위해 피라미드형 다층 양방향 인코더를 사용.
• 인코더와 디코더 모두 문자 수준에서 콘텐츠 기반 주의 메커니즘과 함께 작동.
• 주의(attention)가 있는 GRU 기반 디코더로 한 문자씩 디코딩.
• 신경 출력과 언어 모델을 빔 탐색과 조정 가능한 가중치 lambda로 결합.
• Levenshtein 정렬된 골드 편집을 사용하여 제안된 편집을 필터링하고 정밀도 향상을 위한 편집 분류기를 학습.
• ArtOrDet와 Nn 유형의 합성 오류로 학습을 증강하여 재현율을 높임.

실험 결과

연구 질문

• RQ1 어텐션이 포함된 문자 수준 인코더-디코더가 학습자 텍스트의 잘못된 철자, 희귀 단어, 구두점 등 다양한 오류를 처리할 수 있는가?
• RQ2 언어 모델과 편집 분류를 통합하면 표준 벤치마크에서 정밀도와 전체 수정 품질이 향상되는가?
• RQ3 합성된 오류를 이용한 데이터 증강이 문법 오류 수정 성능에 미치는 영향은 무엇인가?

주요 결과

방법	P	R	F0.5
AMU	41.62	21.40	35.01
CUUI	41.78	24.88	36.79
CAMB	39.71	30.10	37.33
Ours (no EC)	45.86	26.40	39.97
Ours (+ EC)	49.24	23.77	40.56
Ours (A1)	32.56	14.76	26.23
Ours (A2)	44.04	14.83	31.59
A1 (A2)	50.47	32.29	45.36
A2 (A1)	37.14	45.38	38.54

• Lang-8 테스트 세트에서 인코더-디코더만으로도 강력한 결과를 달성했고 언어 모델과 함께 사용할 때 BLEU 점수 개선이 관찰되었다.
• CoNLL-2014 테스트 세트에서 데이터 증강 및 편집 분류를 포함한 변형으로 MT, LM 랭킹, 규칙 기반 시스템을 능가하는 최첨단 성능을 입증했다.
• 데이터 증강(합성 ArtOrDet 및 Nn 오류)이 개발 F0.5를 31.55에서 34.81로 향상시키고 특히 특정 오류 유형의 재현율을 높인다.
• CoNLL 개발에서 최상위 시스템(Ours with EC and augmentation)은 F0.5 약 40.56으로 ArtOrDet 및 Nn 오류 유형에 대한 재현율 개선이 있다.