[논문 리뷰] Breaking barriers for people with voice disabilities: Combining virtual keyboards with speech synthesizers, and VoIP applications

Paulo A. Condado, Fernando G. Lobo|ArXiv.org|2006. 06. 20.

Gaze Tracking and Assistive Technology참고 문헌 10인용 수 3

한 줄 요약

이 논문은 말과 운동 기능 장애가 있는 사람, 특히 뇌성마비를 앓는 사람들에게 인터넷을 통해 말로 소통할 수 있도록 허용하는 새로운 시스템인 EasyVoice를 제시한다. 이 시스템은 텍스트에서 음성으로 변환(TTS) 기술, 가상 키보드, VoIP 애플리케이션을 통합하여, 기존 기술들을 조합함으로써 사용자가 가상 키보드를 통해 메시지를 입력하고, 실시간으로 음성으로 합성하여 VoIP를 통해 전송함으로써 소통의 접근성과 자율성을 크게 향상시킨다.

ABSTRACT

Text-to-speech technology has been broadly used to help people with voice disabilities to overcome their difficulties. With text-to-speech, a person types at a keyboard, the text is synthesized, and the sound comes out through the computer speakers. In recent years, Voice over IP (VoIP) applications have become very popular and have been used by people worldwide. These applications allow people to talk for free over the Internet and also to make traditional calls through the Public-Switched Telephone Network (PSTN) at a small fraction of the cost offered by traditional phone companies. We have created a system, called EasyVoice, which integrates speech synthesizers with VoIP applications. The result allows a person with motor impairments and voice disabilities to talk with another person located anywhere in the world. The benefits in this case are much stronger than the ones obtained by non-disabled people using VoIP applications. People with motor impairments sometimes can hardly use a regular or mobile phone. Thus, the advantage is not only the reduction in cost, but more important, the ability to talk at all.

연구 동기 및 목표

• 기존 전화기 사용이 어려운 말과 운동 기능 장애가 있는 사람들의 소통 장벽을 해소하기 위해.
• 인터넷을 통한 실시간 음성 소통을 가능하게 하는 저비용이고 접근성 있는 솔루션을 개발하기 위해.
• 기존 기술—텍스트에서 음성으로 변환, 가상 키보드, VoIP—을 통합하여 장애가 있는 사용자에게 맞춤형으로 설계된 통합적이고 사용자 친화적인 인터페이스를 제공하기 위해.
• 사용자가 친구, 가족, 동료와 독립적으로 소통할 수 있도록 함으로써 사회적·교육적 통합을 향상시키기 위해.
• 기본 텍스트 입력을 넘어서 인터넷 전화 기반 실시간 음성 출력을 가능하게 함으로써 보조 소통 기술의 영향 범위를 넓히기 위해.

제안 방법

• 시스템은 포르투갈어 텍스트를 Mbrola 음성 합성기반으로 최적의 TTS 출력을 얻기 위해 사전 처리하는 데 전용 텍스트 변환 엔진을 사용한다.
• 운동 기능 제한이 있는 사용자가 머리 또는 눈 동작 추적과 같은 대체 입력 수단을 통해 입력할 수 있도록 가상 키보드 인터페이스(예: Voice Touch)를 구현한다.
• 텍스트 입력은 문법적 및 억양 규칙을 적용하여 음성의 자연스러움과 이해도를 향상시키기 위한 규칙 기반 변환 시스템을 통해 처리된다.
• 처리된 텍스트는 조절 가능한 피치를 가진 Mbrola 기반 TTS 엔진에 입력되어 더 자연스러운 음성 합성을 생성한다.
• 합성된 오디오는 VoIP 애플리케이션(예: Skype 또는 유사 제품)을 통해 전송되어 인터넷을 통한 실시간 음성 소통이 가능해진다.
• 이 시스템은 휴대성과 이동성을 높이기 위해 토시바 리브레토 같은 경량 기기에서도 구동 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 기존 보조 기술—텍스트에서 음성으로 변환, 가상 키보드, VoIP—을 어떻게 조합하여 말과 운동 기능 장애가 있는 사람들을 위한 새로운 접근 가능한 소통 솔루션을 만들 수 있는가?
• RQ2 TTS 기능이 탑재된 가상 키보드 시스템이 뇌성마비 및 심한 운동 기능 장애가 있는 사람들의 소통 자율성에 얼마나 기여하는가?
• RQ3 현재 보조 소통 기술의 실시간 인터넷 기반 음성 상호작용을 지원하는 데 있어 실질적인 한계는 무엇인가?
• RQ4 머리 또는 눈 움직임으로만 제한된 심한 운동 기능 장애가 있는 사용자를 지원하기 위해 시스템 설계는 어떻게 조정되어야 하는가?
• RQ5 사용자 인터페이스 설계는 장애가 있는 사용자들이 보조 소통 도구를 얼마나 잘 사용하고 채택할 수 있도록 하는가에 있어 어떤 역할을 하는가?

주요 결과

• EasyVoice 시스템은 말과 운동 기능 장애가 있는 사용자가 VoIP를 통해 합성된 음성으로 소통할 수 있도록 하여 기존 전화기 사용의 실질적인 대안을 제공한다.
• Voice Touch 가상 키보드를 활용한 실험 결과, 심한 운동 기능 장애와 비음성 뇌성마비를 앓는 환자들이 효과적으로 메시지를 입력하고 전송할 수 있었다.
• Mbrola TTS 엔진과 규칙 기반 텍스트 사전 처리의 통합은 포르투갈어에서 특히 음성 품질과 이해도를 향상시켰다.
• 토시바 리브레토와 같은 경량 기기에서의 배포 덕분에 시스템의 휴대성과 실제 생활에서의 사용성 향상이 이루어졌다.
• 시스템 아키텍처는 확장 가능하며 향후 多국어 TTS 엔진과의 통합을 지원하며, 영어 및 기타 주요 언어는 향후 확장의 핵심 대상으로 지목되었다.
• 저자들은 혁신의 핵심이 새로운 기술을 만드는 데 있는 것이 아니라, 존재하는 도구들을 새로운 방식으로 조합하여 장애가 있는 사용자에게 새로운 영향력 있는 기능을 제공하는 데 있음을 결론 내렸다.