[论文解读] Speech Is 3x Faster than Typing for English and Mandarin Text Entry on Mobile Devices.

Sherry Ruan, Jacob O. Wobbrock+3 more|arXiv (Cornell University)|Aug 25, 2016

Interactive and Immersive Displays参考文献 33被引用 35

一句话总结

本研究比较了在英语和中文环境下，智能手机上基于语音的语音输入与微型触屏键盘的文本输入。使用 Deep Speech 2 和 iOS 键盘，语音输入在输入速度上分别比打字快 3.0 倍和 2.8 倍，错误率分别低 20.4% 和 63.4%，表明语音输入在移动文本输入方面显著更高效且更准确。

ABSTRACT

With laptops and desktops, the dominant method of text entry is the full-size keyboard; now with the ubiquity of mobile devices like smartphones, two new widely used methods have emerged: miniature touch screen keyboards and speech-based dictation. It is currently unknown how these two modern methods compare. We therefore evaluated the text entry performance of both methods in English and in Mandarin Chinese on a mobile smartphone. In the speech input case, our speech recognition system gave an initial transcription, and then recognition errors could be corrected using either speech again or the smartphone keyboard. We found that with speech recognition, the English input rate was 3.0x faster, and the Mandarin Chinese input rate 2.8x faster, than a state-of-the-art miniature smartphone keyboard. Further, with speech, the English error rate was 20.4% lower, and Mandarin error rate 63.4% lower, than the keyboard. Our experiment was carried out using Deep Speech 2, a deep learning-based speech recognition system, and the built-in Qwerty or Pinyin (Mandarin) Apple iOS keyboards. These results show that a significant shift from typing to speech might be imminent and impactful. Further research to develop effective speech interfaces is warranted.

研究动机与目标

• 评估并比较基于语音的语音输入与微型触屏键盘在移动设备上进行文本输入的性能。
• 评估语音识别在英语和中文环境下是否能在速度和准确度方面超越传统打字。
• 研究错误纠正方法（语音或键盘）对整体输入效率和准确度的影响。
• 确定基于深度学习的语音识别系统（如 Deep Speech 2）是否能显著提升移动文本输入性能。

提出的方法

• 在配备 Deep Speech 2 语音识别功能的智能手机上进行受控实验，使用内置的 Qwerty 或拼音 iOS 键盘进行打字。
• 测量英语和中文环境下语音输入与键盘输入的文本输入速度和错误率。
• 在初始语音转录后，允许通过语音或键盘进行错误纠正。
• 使用标准指标：输入速率（每分钟词数）和错误率（需更正的词的百分比）。
• 通过对比两种语言的表现，评估结果在跨语言间的一致性。

实验结果

研究问题

• RQ1 在智能手机上，基于语音的文本输入与微型键盘打字在英语和中文环境下的输入速度有何差异？
• RQ2 语音识别与键盘输入在英语和中文文本输入中的错误率差异是什么？
• RQ3 混合错误纠正方法（语音或键盘）在提升语音输入性能方面的有效性如何？
• RQ4 基于深度学习的语音识别在移动设备上相比传统打字在多大程度上表现更优？

主要发现

• 在英语环境下，语音输入的输入速率比微型键盘快 3.0 倍。
• 在中文环境下，语音输入的输入速率比微型键盘快 2.8 倍。
• 在英语环境下，语音输入的错误率比键盘输入低 20.4%。
• 在中文环境下，语音输入的错误率比键盘输入低 63.4%。
• 结合语音或键盘进行错误纠正的语音识别显著提升了整体输入效率和准确度。
• 结果表明，从打字转向语音进行移动文本输入在技术上是可行的，且具有显著优势。