[論文レビュー] Speech: A Challenge to Digital Signal Processing Technology for Human-to-Computer Interaction

Urmila Shrawankar, Anjali Mahajan|arXiv (Cornell University)|May 8, 2013

Speech Recognition and Synthesis参考文献 7被引用数 3

ひとこと要約

この論文は、音声認識と音声合成を統合することで、生き生きとした仮想キャラクターと自然な対面対話が可能な音声ベースのヒューマンコンピュータインタラクションシステムを提示する。このシステムはデジタル信号処理技術を活用し、音声入力を機械処理可能なテキストに変換し、自然な発話応答を生成することで、没入的で周囲の状況に応じた反応を示すヒューマンコンピュータインタラクションの実現を前進させる。

ABSTRACT

This software project based paper is for a vision of the near future in which computer interaction is characterized by natural face-to-face conversations with lifelike characters that speak, emote, and gesture. The first step is speech. The dream of a true virtual reality, a complete human-computer interaction system will not come true unless we try to give some perception to machine and make it perceive the outside world as humans communicate with each other. This software project is under development for listening and replying machine (Computer) through speech. The Speech interface is developed to convert speech input into some parametric form (Speech-to-Text) for further processing and the results, text output to speech synthesis (Text-to-Speech)

研究の動機と目的

• リアルタイムの音声インターフェースを構築し、人間とコンピュータの間で自然な会話が可能な対話型インタラクションを実現すること。
• 音声処理を通じて人間らしいコミュニケーションと機械の認識能力のギャップを埋めること。
• 音声認識と音声合成を統合したフルスタックのシステムを実装し、対話型仮想エージェントを実現すること。
• 感情表現が可能で反応的なキャラクターを備えた将来の仮想現実システムの基盤を築くこと。
• デジタル信号処理を用いた堅牢で現実世界に適した音声インタラクションの実現可能性を実証すること。

提案手法

• システムは音声をテキストに変換することで、処理可能なパラメトリックなデジタル表現に変換する。
• 音声信号から音響特徴を抽出するために、デジタル信号処理技術が適用される。
• テキストから音声に変換する音声合成モジュールにより、処理済みのテキスト出力を自然な発話に変換する。
• 音声認識と音声合成モジュールを統合することで、双方向の通信を可能にする。
• リアルタイム処理とユーザーインタラクションに重点を置いたソフトウェアプロジェクトとしてシステムが実装される。
• アーキテクチャは、ジェスチャーと感情表現のモデリングをサポートし、仮想キャラクターのリアリズムを向上させる。

実験結果

リサーチクエスチョン

• RQ1 デジタル信号処理をどのように効果的に活用すれば、ヒューマンコンピュータインタラクションにおける自然な音声入力を実現できるか？
• RQ2 話された言語を機械処理可能な形式に変換する際の主な技術的課題は何か？
• RQ3 合成音声をどのようにして聴覚的に自然で文脈的に適切なものにするか？
• RQ4 仮想エージェントとのリアルタイムで双方向の音声インタラクションを可能にするシステムアーキテクチャはどのようなものか？
• RQ5 認識能力と感情表現をどのように統合することで、よりリアルな対話が可能になるか？

主な発見

• 本システムは、デジタル信号処理を用いた音声入力と出力の機能的パイプラインを成功裏に実証した。
• 音声認識により、さらなる処理に適した話されたコマンドの正確な解釈が可能となった。
• 音声合成により、聞き取りやすく自然な発話応答が生成された。
• 両モジュールの統合により、仮想エージェントにおける対話的・会話的行動が実現された。
• DSPを用いた周囲の状況に応じた反応を示す、音声駆動型ヒューマンコンピュータインターフェースの実現可能性が検証された。
• 本アプローチは、没入的でリアルな仮想環境の今後の開発の基盤となるフレームワークを提供する。