[논문 리뷰] Speech: A Challenge to Digital Signal Processing Technology for Human-to-Computer Interaction

Urmila Shrawankar, Anjali Mahajan|arXiv (Cornell University)|2013. 05. 08.

Speech Recognition and Synthesis참고 문헌 7인용 수 3

한 줄 요약

이 논문은 음성 기반의 인간-컴퓨터 상호작용 시스템을 제시하며, 음성 인식과 음성 합성 기술을 통합하여 실제적인 대화를 가능하게 하는 생생한 가상 캐릭터와의 자연스러운 얼굴 맞춤 대화를 실현한다. 이 시스템은 디지털 신호 처리 기법을 활용하여 말하는 입력을 기계가 처리할 수 있는 텍스트로 변환하고 자연스러운 음성 응답을 생성함으로써, 몰입감 있고 인지 능력을 갖춘 인간-컴퓨터 상호작용의 비전을 발전시킨다.

ABSTRACT

This software project based paper is for a vision of the near future in which computer interaction is characterized by natural face-to-face conversations with lifelike characters that speak, emote, and gesture. The first step is speech. The dream of a true virtual reality, a complete human-computer interaction system will not come true unless we try to give some perception to machine and make it perceive the outside world as humans communicate with each other. This software project is under development for listening and replying machine (Computer) through speech. The Speech interface is developed to convert speech input into some parametric form (Speech-to-Text) for further processing and the results, text output to speech synthesis (Text-to-Speech)

연구 동기 및 목표

• 실시간 음성 인터페이스를 개발하여 인간과 컴퓨터 간의 자연스럽고 대화형 상호작용을 가능하게 한다.
• 음성 처리를 통해 인간과 유사한 의사소통 방식과 기계의 인지 능력 간 격차를 해소한다.
• 음성 인식 및 합성 기술을 통합한 전반적인 스택 시스템을 구현하여 상호작용 가능한 가상 에이전트를 구현한다.
• 감정 표현이 가능하고 반응성이 뛰어난 캐릭터를 갖춘 향후 가상현실 시스템의 기반을 마련한다.
• 디지털 신호 처리를 활용한 견고하고 현실 세계에 적합한 음성 상호작용의 실현 가능성을 입증한다.

제안 방법

• 시스템은 말 입력을 처리 가능한 수치적 디지털 표현으로 변환하기 위해 음성 인식 기술을 사용한다.
• 음성 신호에서 음향 특징을 추출하기 위해 디지털 신호 처리 기법을 적용한다.
• 처리된 텍스트 출력을 자연스럽고 들리기 쉬운 음성으로 다시 변환하는 음성 합성 모듈이 존재한다.
• 음성 인식 및 합성 모듈을 통합하여 이중 방향의 통신을 가능하게 하는 파이프라인을 구성한다.
• 실시간 처리와 사용자 상호작용을 중시한 소프트웨어 프로젝트로 시스템을 구현한다.
• 가상 캐릭터의 더 높은 현실감을 위해 제스처 및 감정 표현 모델링을 지원하는 아키텍처를 제공한다.

실험 결과

연구 질문

• RQ1 디지털 신호 처리 기법을 효과적으로 활용하여 인간-컴퓨터 상호작용에서 자연스러운 음성 입력을 어떻게 실현할 수 있는가?
• RQ2 말하는 언어를 기계가 처리할 수 있는 형태로 변환하는 데 있어 핵심적인 기술적 과제는 무엇인가?
• RQ3 합성된 음성은 어떻게 청각적으로 자연스럽고 맥락에 부합하게 만들 수 있는가?
• RQ4 가상 에이전트와 실시간으로 이중 방향의 음성 상호작용을 지원하는 시스템 아키텍처는 어떻게 구성되어야 하는가?
• RQ5 인지 능력과 감정 표현을 어떻게 기계의 응답에 통합하여 더 생생한 상호작용을 실현할 수 있는가?

주요 결과

• 시스템은 디지털 신호 처리를 활용하여 음성 입력 및 출력을 위한 기능적인 파이프라인을 성공적으로 구현하였다.
• 음성 인식 기술을 통해 말로 된 명령어를 정확하게 해석하여 추가 처리에 활용할 수 있었다.
• 음성 합성 모듈은 이해하기 쉬우면서 자연스러운 음성 응답을 생성하였다.
• 양쪽 모듈의 통합은 가상 에이전트의 상호작용적이고 대화형 행동을 가능하게 하였다.
• 이 프로젝트는 DSP를 활용한 인지 능력이 있는, 음성 기반의 인간-컴퓨터 인터페이스를 구축하는 데 실현 가능성을 입증하였다.
• 이 접근법은 향후 몰입감 있고 생생한 가상 환경 개발을 위한 기초 프레임워크를 제공한다.