[논문 리뷰] Mobile Keyboard Input Decoding with Finite-State Transducers

Tom Ouyang, David Rybach외 2명|arXiv (Cornell University)|2017. 04. 13.

Speech Recognition and Synthesis참고 문헌 3인용 수 21

한 줄 요약

이 논문은 스마트폰 키보드 입력을 위한 유한 상태 변환기(FST) 디코더를 제안하며, 음성 인식에서 영감을 얻은 기법들을 활용해 엄격한 메모리 및 속도 제약 조건 하에서도 저지연, 온디바이스 디코딩을 가능하게 한다. FST 프레임워크는 자동 보정, 단어 완성, 다음 단어 예측, 그리고 향후 문맥을 활용해 이전에 확정된 단어를 수정하는 새로운 후보 보정 기능을 지원하며, 탭 입력 기준으로 18.5%, 제스처 입력 기준으로 22.7%의 단어 오류율(WER) 감소를 이룬다.

ABSTRACT

We propose a finite-state transducer (FST) representation for the models used to decode keyboard inputs on mobile devices. Drawing from learnings from the field of speech recognition, we describe a decoding framework that can satisfy the strict memory and latency constraints of keyboard input. We extend this framework to support functionalities typically not present in speech recognition, such as literal decoding, autocorrections, word completions, and next word predictions. We describe the general framework of what we call for short the keyboard "FST decoder" as well as the implementation details that are new compared to a speech FST decoder. We demonstrate that the FST decoder enables new UX features such as post-corrections. Finally, we sketch how this decoder can support advanced features such as personalization and contextualization.

연구 동기 및 목표

• 스마트폰 기기에서 일반적인 엄격한 메모리 및 지연 제약 조건 하에서 노이즈가 많고 정밀도가 낮은 키보드 입력을 처리하는 데 도전하는 것.
• 이전에 음성 인식 분야에서 사용된 유한 상태 변환기 기술을 스마트폰 키보드 입력 분야로 확장하여 정확도 향상과 기능 지원을 향상시키는 것.
• 이전에 확정된 단어를 이후 입력에 기반해 수정할 수 있는 새로운 사용자 경험 기능인 후보 보정을 가능하게 하는 것.
• 정적 모델 크기를 증가시키지 않으면서도 동적 언어 모델을 활용해 온디바이스 개인화 및 맥락 기반 적응을 지원하는 것.

제안 방법

• FST 디코더는 어휘 FST, 언어 모델 FST, 공간 모델 FST를 조합한 계층적 변환기 아키텍처를 사용하여 입력 키 시퀀스를 후보 단어로 매핑한다.
• 시간에 동기화된 디코딩 알고리즘을 통해 실시간 처리를 구현하며, 지연 시간을 <20ms 이하로 유지하고 메모리 사용량을 <10MB 이하로 최소화한다.
• 후보 보정은 스트리밍 및 지속적인 인식 아키텍처를 통해 신규 맥락이 제공될 때 이전 단어를 재평가함으로써 구현된다.
• 동적 모델(예: 사용자 전용 n-gram, 연락처 목록)은 실시간 라티스 재평가를 통해 통합되어, 사전에 모든 어휘를 정의하지 않아도 OOV 단어 처리가 가능하다.
• 타이핑 모드와 제스처 입력 모드를 모두 지원하며, 직접 디코딩과 제안 기반 보정을 위한 별도 처리가 가능하다.
• OOV 단어 처리를 위해 문자에서 단어로의 변환기 모듈이 디코딩 그래프에 삽입되어, 문자 시퀀스를 직접 출력 단어로 매핑한다.

실험 결과

연구 질문

• RQ1 음성 인식에 사용된 유한 상태 변환기 프레임워크를 스마트폰 키보드 입력에 효과적으로 적용할 수 있을까? 특히 스마트폰 환경의 엄격한 제약 조건 하에서 말이다.
• RQ2 이전에 확정된 단어를 수정하는 후보 보정 메커니즘이 종합적인 디코딩 정확도를 향상시킬 수 있을까?
• RQ3 온디바이스 개인화 모델을 실시간으로 통합할 경우 디코딩 성능과 메모리 사용량에 어떤 영향을 미칠까?
• RQ4 FST 디코더가 탭 입력과 제스처 입력 모두에서 기존의 토큰 전달 디코더보다 단어 오류율(WER) 측면에서 얼마나 뛰어난 성능을 보일 수 있을까?

주요 결과

• FST 디코더는 탭 입력 기준으로 단어 오류율(WER)을 6.31%에서 5.07%로 18.5% 감소시켰고, 제스처 입력 기준으로는 11.90%에서 9.20%로 22.7% 감소시켰다.
• 후보 보정 기능을 통해 'a while lot'이라는 오류를 'a whole lot'으로 수정할 수 있었으며, 이는 향후 단어의 맥락을 활용해 의미 모호성을 해소하는 데서 유의미한 가치를 지닌다.
• 저지연 성능(<20ms)과 10MB 이내의 메모리 사용량을 달성하여 실시간 스마트폰 배포 조건을 충족시켰다.
• 실시간 라티스 재평가를 통한 동적 모델 통합으로 정적 모델 크기를 증가시키지 않으면서도 효과적인 개인화 및 OOV 단어 처리가 가능했다.
• FST 프레임워크는 통합적이고 수학적으로 엄밀한 아키텍처 내에서 다음 단어 예측, 단어 완성, 자동 보정과 같은 고급 기능을 자연스럽게 지원한다.