[论文解读] Breaking barriers for people with voice disabilities: Combining virtual keyboards with speech synthesizers, and VoIP applications

Paulo A. Condado, Fernando G. Lobo|ArXiv.org|Jun 20, 2006

Gaze Tracking and Assistive Technology参考文献 10被引用 3

一句话总结

本文提出 EasyVoice，一种创新系统，将文本转语音（TTS）合成技术与虚拟键盘及 VoIP 应用相结合，使语音和运动功能障碍者——尤其是脑瘫患者——能够通过互联网实现口头交流。通过整合现有技术，该系统允许用户通过虚拟键盘输入文字，随后实时将文字转换为语音并通过 VoIP 传输，显著提升了沟通的可及性与自主性。

ABSTRACT

Text-to-speech technology has been broadly used to help people with voice disabilities to overcome their difficulties. With text-to-speech, a person types at a keyboard, the text is synthesized, and the sound comes out through the computer speakers. In recent years, Voice over IP (VoIP) applications have become very popular and have been used by people worldwide. These applications allow people to talk for free over the Internet and also to make traditional calls through the Public-Switched Telephone Network (PSTN) at a small fraction of the cost offered by traditional phone companies. We have created a system, called EasyVoice, which integrates speech synthesizers with VoIP applications. The result allows a person with motor impairments and voice disabilities to talk with another person located anywhere in the world. The benefits in this case are much stronger than the ones obtained by non-disabled people using VoIP applications. People with motor impairments sometimes can hardly use a regular or mobile phone. Thus, the advantage is not only the reduction in cost, but more important, the ability to talk at all.

研究动机与目标

• 解决语音和运动功能障碍者，尤其是无法使用传统电话者所面临的沟通障碍。
• 开发一种低成本、可访问的解决方案，使严重言语和运动障碍者能够通过互联网实现实时语音交流。
• 将现有技术——文本转语音、虚拟键盘和 VoIP——整合为一个统一、用户友好的界面，专为残障用户设计。
• 通过使用户能够独立地与朋友、家人和同事沟通，提升其社会与教育融合程度。
• 将辅助沟通技术的适用范围从基本文字输入扩展至通过互联网电话实现实时语音输出。

提出的方法

• 系统使用自定义文本转换引擎，对葡萄牙语文本进行预处理，以在 Mbrola 语音合成器上实现最优 TTS 输出。
• 虚拟键盘界面（如 Voice Touch）使运动控制受限的用户可通过头戴或眼动追踪等替代输入方式输入文字。
• 文本输入通过基于规则的转换系统处理，应用音素和语调规则以提升语音的自然度与可理解性。
• 处理后的文本输入至基于 Mbrola 的 TTS 引擎，生成可调节音高的合成语音，以增强自然感。
• 合成的音频通过 VoIP 应用程序（如 Skype 或类似软件）传输，实现实时互联网语音通信。
• 系统设计为可移植，可部署于轻便设备（如 Toshiba Libretto），提升可及性与移动性。

实验结果

研究问题

• RQ1 如何将现有辅助技术——文本转语音、虚拟键盘和 VoIP——整合，以创建一种新型、可访问的沟通解决方案，服务于语音和运动功能障碍者？
• RQ2 TTS 驱动的虚拟键盘系统在多大程度上能提升脑瘫及严重运动障碍者沟通的独立性？
• RQ3 当前辅助沟通系统在实现实时、基于语音的互联网互动方面存在哪些实际局限性？
• RQ4 系统设计应如何调整，以支持最严重运动功能障碍的用户，如仅能通过头部或眼部运动操作的用户？
• RQ5 用户界面设计在提升残障用户对辅助沟通工具的可用性与采纳率方面发挥何种作用？

主要发现

• EasyVoice 系统成功使语音和运动功能障碍者能够通过 VoIP 实现合成语音沟通，为传统电话提供了一种切实可行的替代方案。
• 使用 Voice Touch 虚拟键盘的实验表明，严重运动障碍及非言语性脑瘫患者能够有效编写并发送消息。
• 基于规则的文本预处理与 Mbrola TTS 引擎的整合显著提升了语音质量与可理解性，尤其针对葡萄牙语。
• 系统通过部署于轻便设备（如 Toshiba Libretto）实现便携性，增强了用户的移动性与实际可用性。
• 该系统的架构具备可扩展性，支持未来与多语言 TTS 引擎的集成，英语及其他主要语言已被确定为扩展的关键目标。
• 作者总结认为，该创新并非源于创造新技术，而在于将现有工具以新颖方式组合，为残障用户创造了具有实际影响的新功能。