[논문 리뷰] Neural Networks for Text Correction and Completion in Keyboard Decoding

Shaona Ghosh, Per Ola Kristensson|arXiv (Cornell University)|2017. 09. 19.

Natural Language Processing Techniques참고 문헌 28인용 수 56

한 줄 요약

이 논문은 문자 기반 CNN-GRU 인코더와 단어 수준 GRU 어텐션 디코더를 사용하는(CCEAD) 동시 텍스트 교정 및 완성을 위한 엔드-투-엔드 방식으로, 트위터 오타와 OpenSubtitles 유래 데이터셋을 결합한 데이터로 학습되며, 전통적 언어 모델에 비해 훨씬 더 작은 용량으로 경쟁력 있는 CER 및 단어 정확도를 달성합니다.

ABSTRACT

Despite the ubiquity of mobile and wearable text messaging applications, the problem of keyboard text decoding is not tackled sufficiently in the light of the enormous success of the deep learning Recurrent Neural Network (RNN) and Convolutional Neural Networks (CNN) for natural language understanding. In particular, considering that the keyboard decoders should operate on devices with memory and processor resource constraints, makes it challenging to deploy industrial scale deep neural network (DNN) models. This paper proposes a sequence-to-sequence neural attention network system for automatic text correction and completion. Given an erroneous sequence, our model encodes character level hidden representations and then decodes the revised sequence thus enabling auto-correction and completion. We achieve this by a combination of character level CNN and gated recurrent unit (GRU) encoder along with and a word level gated recurrent unit (GRU) attention decoder. Unlike traditional language models that learn from billions of words, our corpus size is only 12 million words; an order of magnitude smaller. The memory footprint of our learnt model for inference and prediction is also an order of magnitude smaller than the conventional language model based text decoders. We report baseline performance for neural keyboard decoders in such limited domain. Our models achieve a word level accuracy of $90\%$ and a character error rate CER of $2.4\%$ over the Twitter typo dataset. We present a novel dataset of noisy to corrected mappings by inducing the noise distribution from the Twitter data over the OpenSubtitles 2009 dataset; on which our model predicts with a word level accuracy of $98\%$ and sequence accuracy of $68.9\%$. In our user study, our model achieved an average CER of $2.6\%$ with the state-of-the-art non-neural touch-screen keyboard decoder at CER of $1.6\%$.

연구 동기 및 목표

• 모바일 키보드용 온디바이스의 자원 효율적인 텍스트 교정과 완성의 필요성을 제시합니다.
• 오류를 동시에 교정하고 텍스트를 완성하도록 엔드-투-엔드 시퀀스-투-시퀀스 모델을 제안합니다.
• 잡음 처리 및 언어 모델링 효과를 위해 문자 수준 인코더와 주의(attention)를 갖춘 단어 수준 디코더를 활용합니다.
• 실제 및 합성 노이즈 데이터에서의 효과를 입증하면서도 작은 메모리 풋프린트를 유지합니다.]
• method:["오류 표현을 포착하는 문자 기반 CNN-GRU 인코더와 임시로 언어 모델 역할을 하는 단어 기반 GRU 어텐션 디코더의 2부분 아키텍처를 제안합니다.","트위터 오타와 OpenSubtitles 유래 텍스트의 조합인 OpenTypo에서 노이즈-대-교정 매핑을 모델링하기 위한 엔드-투-엔드 공동 학습 regime를 사용합니다.","입력이 노이즈가 섞인 문자 시퀀스이고 출력이 교정된 단어 시퀀스인 시퀀스-투-시퀀스 프레임워크를 적용하며 인코더에서 디코더로 주의(attention) 기반 컨텍스트를 제공합니다.","문자들을 폭 2–4의 CNN 필터, 5개의 필터를 사용하여 인코딩하고, GRU 크기를 256으로 설정하여 단일 계층의 단어 수준 GRU 디코더로 전달합니다.","디코더를 인코더의 최종 상태에서 초기화하고 인코더 상태에 대한 어텐션을 적용하여 생성에 필요한 컨텍스트 벡터를 형성합니다.","교차 엔트로피 손실을 워드 어휘(디코더에서 약 3,000 단어) 상에서 이용하고 Adam 최적화를 사용하여 학습합니다."]
• research_questions:[

실험 결과

연구 질문

• RQ1 제목 없이 공란으로 남겨두는 대신 아래 질문들을 한국어로 번역합니다: 문맥상 4개 질문을 그대로 옮겨 적습니다.
• RQ2 문자 수준 CNN-GRU 인코더와 단어 수준 어텐션 디코더를 결합한 모델이 자원 제약이 있는 디바이스에서 타이포를 함께 교정하고 텍스트를 완성할 수 있는가?
• RQ3 혼합 노이즈 데이터셋에서의 엔드-투-엔드 학습이 전통적인 맞춤법 검사 + 언어 모델 기반 기준보다 실제 사용자 입력에 대한 견고성을 향상시키는가?
• RQ4 온-디바이스 키보드 디코딩 작업에서의 정확도 대 모델 풋프린트 간의 트레이드오프는 어떠한가?
• RQ5 제안된 모델이 실제 사용자 데이터 및 비신경망 디코더와 비교하여 오픈 도메인 노이즈 텍스트 데이터셋에서 어떤 수준의 성능을 보이는가?

주요 결과

• 모델은 트위터 오타 데이터셋에서 단어 수준 정확도 90%, 문자 오류율(CER) 2.4를 달성합니다.
• 새로운 OpenSubtitles 유래 OpenTypo 데이터셋에서 모델은 98%의 단어 정확도와 시퀀스 정확도 0.689를 달성합니다.
• 8명의 사용자 대상으로 한 사용자 연구에서 실제 입력에서 CER가 약 2.6%로 나타나 비신경식 터치 스크린 디코더의 최신 CER 1.6% 및 물리 키보드의 2.1%와 경쟁력을 보였습니다.
• 전통적 언어 모델 기반 디코더에 비해 메모리 풋프린트, 학습 시간 및 말뭉치 규모에서 한 차례 크기가 더 작습니다.
• OpenTypo 데이터를 포함한 학습 및 데이터셋은 추론 및 벤치마킹용 오픈 소스 도구로 공개됩니다.