[論文レビュー] Speech Is 3x Faster than Typing for English and Mandarin Text Entry on Mobile Devices.

Sherry Ruan, Jacob O. Wobbrock+3 more|arXiv (Cornell University)|Aug 25, 2016

Interactive and Immersive Displays参考文献 33被引用数 35

ひとこと要約

本研究では、英語および中国語のスマートフォンにおける音声入力とミニチュアタッチスクリーンキーボードのテキスト入力性能を比較した。Deep Speech 2およびiOSキーボードを用いて、音声入力はタイピングに比べて、英語では3.0倍、中国語では2.8倍の高速な入力速度を達成した。誤り率はそれぞれ20.4%および63.4%低く、音声入力がモバイルテキスト入力において著しく効率的かつ正確であることが示された。

ABSTRACT

With laptops and desktops, the dominant method of text entry is the full-size keyboard; now with the ubiquity of mobile devices like smartphones, two new widely used methods have emerged: miniature touch screen keyboards and speech-based dictation. It is currently unknown how these two modern methods compare. We therefore evaluated the text entry performance of both methods in English and in Mandarin Chinese on a mobile smartphone. In the speech input case, our speech recognition system gave an initial transcription, and then recognition errors could be corrected using either speech again or the smartphone keyboard. We found that with speech recognition, the English input rate was 3.0x faster, and the Mandarin Chinese input rate 2.8x faster, than a state-of-the-art miniature smartphone keyboard. Further, with speech, the English error rate was 20.4% lower, and Mandarin error rate 63.4% lower, than the keyboard. Our experiment was carried out using Deep Speech 2, a deep learning-based speech recognition system, and the built-in Qwerty or Pinyin (Mandarin) Apple iOS keyboards. These results show that a significant shift from typing to speech might be imminent and impactful. Further research to develop effective speech interfaces is warranted.

研究の動機と目的

• モバイルデバイスにおける音声ベースのディクテーションとミニチュアタッチスクリーンキーボードのテキスト入力性能を評価・比較すること。
• 音声認識が、英語および中国語の両言語において、速度と正確性の面で従来のタイピングを上回るかどうかを評価すること。
• 誤り訂正手法（音声またはキーボード）が、全体の入力効率および正確性に与える影響を調査すること。
• Deep Speech 2のようなディープラーニングベースの音声認識システムが、モバイルテキスト入力性能を著しく向上させることを特定すること。

提案手法

• スマートフォンを用いた制御実験を実施。音声認識にはDeep Speech 2、タイピングには組み込みのQwertyまたはピンインiOSキーボードを使用。
• 英語および中国語における音声入力とキーボード入力の両方のテキスト入力速度と誤り率を測定。
• 初期の音声変換後に、音声またはキーボードによる誤り訂正を許可。
• 標準的な指標を用いた：入力速度（分あたりの単語数）および誤り率（訂正が必要な単語の割合）。
• 結果の言語間一貫性を評価するために、2言語にわたる性能比較を実施。

実験結果

リサーチクエスチョン

• RQ1 スマートフォンにおける英語および中国語のテキスト入力において、音声ベースの入力はミニチュアキーボード入力に比べてどの程度の入力速度の差があるか？
• RQ2 英語および中国語のテキスト入力において、音声認識とキーボード入力の間で誤り率にどの程度の差があるか？
• RQ3 音声またはキーボードによるハイブリッド誤り訂正手法は、音声入力のパフォーマンス向上にどの程度効果的か？
• RQ4 ディープラーニングベースの音声認識は、従来のタイピングに比べてモバイルデバイス上でどの程度優れているか？

主な発見

• 音声入力は英語においてミニチュアキーボードに比べて3.0倍の高速な入力速度を達成した。
• 音声入力は中国語においてミニチュアキーボードに比べて2.8倍の高速な入力速度を達成した。
• 音声入力の誤り率は、英語においてキーボード入力に比べて20.4%低かった。
• 音声入力の誤り率は、中国語においてキーボード入力に比べて63.4%低かった。
• 音声またはキーボードによる誤り訂正を併用した音声認識は、全体の入力効率および正確性を著しく向上させた。
• 結果から、モバイルテキスト入力においてタイピングから音声入力への大きな転換が現実的かつ顕著な利点をもたらすことが示唆された。