[논문 리뷰] Speech Is 3x Faster than Typing for English and Mandarin Text Entry on Mobile Devices.

Sherry Ruan, Jacob O. Wobbrock외 3명|arXiv (Cornell University)|2016. 08. 25.

Interactive and Immersive Displays참고 문헌 33인용 수 35

한 줄 요약

이 연구는 영어와 간체중국어에서 스마트폰에서 음성 기반 필기와 미니어처 터치스크린 키보드를 이용한 텍스트 입력을 비교한다. Deep Speech 2와 iOS 키보드를 사용하여 음성 입력은 타이핑보다 각각 3.0배와 2.8배 더 빠른 입력 속도를 기록했으며, 오류율은 각각 20.4%와 63.4% 낮아, 음성 입력이 모바일 텍스트 입력에서 훨씬 더 효율적이고 정확하다는 것을 시사한다.

ABSTRACT

With laptops and desktops, the dominant method of text entry is the full-size keyboard; now with the ubiquity of mobile devices like smartphones, two new widely used methods have emerged: miniature touch screen keyboards and speech-based dictation. It is currently unknown how these two modern methods compare. We therefore evaluated the text entry performance of both methods in English and in Mandarin Chinese on a mobile smartphone. In the speech input case, our speech recognition system gave an initial transcription, and then recognition errors could be corrected using either speech again or the smartphone keyboard. We found that with speech recognition, the English input rate was 3.0x faster, and the Mandarin Chinese input rate 2.8x faster, than a state-of-the-art miniature smartphone keyboard. Further, with speech, the English error rate was 20.4% lower, and Mandarin error rate 63.4% lower, than the keyboard. Our experiment was carried out using Deep Speech 2, a deep learning-based speech recognition system, and the built-in Qwerty or Pinyin (Mandarin) Apple iOS keyboards. These results show that a significant shift from typing to speech might be imminent and impactful. Further research to develop effective speech interfaces is warranted.

연구 동기 및 목표

• 모바일 기기에서 음성 기반 필기와 미니어처 터치스크린 키보드의 성능을 평가하고 비교하기.
• 음성 인식이 영어와 간체중국어 양쪽 언어에서 속도와 정확도 측면에서 전통적인 타이핑을 뛰어넘을 수 있는지 평가하기.
• 오류 수정 방법(음성 또는 키보드)이 전체 입력 효율성과 정확도에 미치는 영향을 조사하기.
• 딥 러닝 기반 음성 인식 시스템인 Deep Speech 2가 모바일 텍스트 입력 성능을 크게 향상시킬 수 있는지 확인하기.

제안 방법

• 스마트폰을 사용하여 Deep Speech 2를 음성 인식에, 내장된 QWERTY 또는 피니음 iOS 키보드를 타이핑에 사용한 통제 실험을 실시했다.
• 영어와 간체중국어에서 음성 및 키보드 입력의 텍스트 입력 속도와 오류율을 측정했다.
• 초기 음성 번역 후 음성 또는 키보드를 통해 오류 수정을 허용했다.
• 표준 지표를 사용: 입력 속도(분당 단어 수) 및 오류율(수정된 단어 비율).
• 결과의 언어 간 일관성을 평가하기 위해 두 언어 간 성능을 비교했다.

실험 결과

연구 질문

• RQ1 스마트폰에서 영어와 간체중국어의 경우 음성 기반 텍스트 입력은 미니어처 키보드 타이핑에 비해 입력 속도에서 어떻게 비교되는가?
• RQ2 영어와 간체중국어 텍스트 입력에서 음성 인식과 키보드 입력 간의 오류율 차이는 무엇인가?
• RQ3 혼합 오류 수정 방법(음성 또는 키보드)은 음성 입력 성능 향상에 얼마나 효과적인가?
• RQ4 딥 러닝 기반 음성 인식은 전통적인 타이핑에 비해 모바일 기기에서 얼마나 뛰어나게 성능을 향상시키는가?

주요 결과

• 음성 입력은 영어에서 미니어처 키보드보다 3.0배 더 빠른 입력 속도를 기록했다.
• 음성 입력은 간체중국어에서 미니어처 키보드보다 2.8배 더 빠른 입력 속도를 기록했다.
• 음성 입력의 오류율은 영어에서 키보드 입력보다 20.4% 낮았다.
• 음성 입력의 오류율은 간체중국어에서 키보드 입력보다 63.4% 낮았다.
• 음성 또는 키보드를 통한 오류 수정이 포함된 음성 인식은 전체 입력 효율성과 정확도를 크게 향상시켰다.
• 결과는 모바일 텍스트 입력에서 타이핑에서 음성 입력으로의 전환은 실현 가능하며 매우 유익하다는 것을 시사한다.