[論文レビュー] Mobile Keyboard Input Decoding with Finite-State Transducers

Tom Ouyang, David Rybach+2 more|arXiv (Cornell University)|Apr 13, 2017

Speech Recognition and Synthesis参考文献 3被引用数 21

ひとこと要約

本稿では、モバイルキーボード入力のための有限状態変換器（FST）デコーダを提案する。このFSTフレームワークは、音声認識由来の技術を活用することで、厳密なメモリ制限と速度制限のもとでも低遅延のデコーディングを実現する。FSTフレームワークは、自動正誤、語の補完、次語予測、および以前に確定した語を将来の文脈を用いて再訂正する、新規のポスト・コルレクション機能をサポートしており、タップ入力では18.5%、ジェスチャー入力では22.7%の語誤り率（WER）の低減を実現した。

ABSTRACT

We propose a finite-state transducer (FST) representation for the models used to decode keyboard inputs on mobile devices. Drawing from learnings from the field of speech recognition, we describe a decoding framework that can satisfy the strict memory and latency constraints of keyboard input. We extend this framework to support functionalities typically not present in speech recognition, such as literal decoding, autocorrections, word completions, and next word predictions. We describe the general framework of what we call for short the keyboard "FST decoder" as well as the implementation details that are new compared to a speech FST decoder. We demonstrate that the FST decoder enables new UX features such as post-corrections. Finally, we sketch how this decoder can support advanced features such as personalization and contextualization.

研究の動機と目的

• モバイルデバイスに一般的な厳密なメモリ制限と遅延制限のもとで、ノイズが多く低精度なモバイルキーボード入力のデコーディングを解決すること。
• 従来、音声認識分野で使用されてきた有限状態変換器技術を、より高い精度と機能サポートを実現するために、モバイルキーボード入力分野へと拡張すること。
• 以前に確定した語を、その後の入力に基づいて再訂正できる、ポスト・コルレクションのような新しいユーザーエクスペリエンス機能を可能にすること。
• 静的モデルサイズを増加させることなく、動的言語モデルを用いたオンデバイスでのパーソナライズと文脈適応を実現すること。

提案手法

• FSTデコーダは、語彙FST、言語モデルFST、空間的モデルFSTを統合した階層的変換器アーキテクチャを採用し、入力キーシーケンスを候補語にマッピングする。
• 時間同期デコーディングアルゴリズムにより、リアルタイム処理が可能で、遅延は<20ms、メモリ使用量は言語モデルで<10MBに抑える。
• ポスト・コルレクションは、ストリーミングで継続的な認識アーキテクチャを用い、新しい文脈が得られた際に過去の語を再評価することで実装される。
• 動的モデル（例：ユーザー固有のn-gram、連絡先リスト）は、オンザフライでのラティス再スコアリングにより統合され、事前にすべての語彙を定義しなくてもOOV語の対応が可能になる。
• タップ入力とジェスチャー入力の両モードをサポートし、直接的なデコーディング処理と補足による正誤補正処理を別々に処理する。
• OOV語の処理のために、文字列を出力語に直接マッピングする文字→語変換器をデコーダグラフに統合する。

実験結果

リサーチクエスチョン

• RQ1 音声認識に用いられてきたFSTフレームワークを、モバイルデバイスの厳しい制約のもとでモバイルキーボード入力に効果的に適応できるか？
• RQ2 以前に確定した語を、その後の文脈に基づいて再訂正するポスト・コルレクション機構が、全体のデコーディング精度を向上させられるか？
• RQ3 オンデバイスでのパーソナライズ用動的モデルを統合した場合、デコーディング性能とメモリ使用量にどのような影響を与えるか？
• RQ4 FSTデコーダは、タップ入力およびジェスチャー入力の両方において、従来のトークン伝達型デコーダと比較して、語誤り率（WER）でどれほど優れているか？

主な発見

• FSTデコーダは、タップ入力では語誤り率（WER）を18.5%低減（6.31%から5.07%に）、ジェスチャー入力では22.7%低減（11.90%から9.20%に）した。
• ポスト・コルレクションにより、'a while lot' という誤りを 'a whole lot' に修正でき、これにより将来の語の文脈が意味の解釈に有効に寄与することが実証された。
• 低遅延性能（<20ms）と10MB以内のメモリ使用量を達成し、リアルタイムでのモバイルデプロイメント要件を満たした。
• オンザフライでのラティス再スコアリングによる動的モデル統合により、静的モデルサイズを増加させることなく、効果的なパーソナライズとOOV語対応が可能になった。
• FSTフレームワークは、一元的で数学的に整合性のあるアーキテクチャ内で、次語予測、語の補完、自動正誤といった高度な機能を自然にサポートする。