[論文レビュー] A Bengali HMM Based Speech Synthesis System

Sankar Mukherjee, Shyamal Kumar Das Mandal|arXiv (Cornell University)|Jun 16, 2014

Speech Recognition and Synthesis参考文献 14被引用数 9

ひとこと要約

この論文では、隠れマルコフモデル（HMM）を用いて音声パラメータの時間的変化をモデル化することで、自然な発音を生成するベンガル語HMMベースの音声合成（TTS）システムを提示している。ベンガル語音声データベースから抽出したメル・セプストラム係数を用いて、聞き取りやすく、イントネーションに正確な合成音声が得られ、ベンガル語のような低リソース言語に対してもHMMベースのTTSが実現可能であることが示された。

ABSTRACT

The paper presents the capability of an HMM-based TTS system to produce Bengali speech. In this synthesis method, trajectories of speech parameters are generated from the trained Hidden Markov Models. A final speech waveform is synthesized from those speech parameters. In our experiments, spectral properties were represented by Mel Cepstrum Coefficients. Both the training and synthesis issues are investigated in this paper using annotated Bengali speech database. Experimental evaluation depicts that the developed text-to-speech system is capable of producing adequately natural speech in terms of intelligibility and intonation for Bengali.

研究の動機と目的

• ベンガル語という低リソースのインド諸語向けに、HMMベースの音声合成を用いたテキスト音声変換（TTS）システムを開発すること。
• HMMモデリングがベンガル語の音声パラメータの時間的変化を効果的に捉えることの有効性を調査すること。
• 主観的およびスペクトル解析を用いて、合成されたベンガル語音声の聞き取りやすさと自然さを評価すること。
• HMMベースのTTSにおけるスペクトル表現としてのメル・セプストラム係数の有効性を検討すること。
• 将来のインド諸語におけるHMMベースのTTS開発のための基準を確立すること、特に言語的リソースが限られる言語を想定して。

提案手法

• システムは、ベンガル語の音声素を対象に、音声パラメータの時間的変化をモデル化するために隠れマルコフモデル（HMM）を用いる。
• スペクトル特徴量は、学習用音声データベースから抽出されたメル・セプストラム係数で表現される。
• 学習段階では、テキストと音声データを対応付けることで、各音声素に対してHMMを構築し、状態遷移確率と発生確率を学習する。
• 音声合成段階では、学習済みのHMMからパラメータ列をサンプリングし、そのパラメータから波形を再構築する。
• 生成されたメル・セプストラムの時間的変化から波形を再構築するために、音声波形を合成する音声生成器（vocoder）が使用される。
• アノテーション済みのベンガル語音声データベースが、学習および評価に使用され、言語的正確性と音声素のカバー範囲が保証されている。

実験結果

リサーチクエスチョン

• RQ1 限定的な音声データベースを用いても、HMMベースのTTSが自然なベンガル語音声を効果的にモデル化・合成できるか？
• RQ2 HMMフレームワークにおいて、メル・セプストラム係数がベンガル語音声のスペクトル特性をどの程度適切に表現できるか？
• RQ3 合成音声がベンガル語において、どの程度の聞き取りやすさと自然なイントネーションを維持しているか？
• RQ4 音声素のモデリングおよび状態遷移の学習が、合成音声の品質にどの程度の影響を及ぼしているか？
• RQ5 HMMベースの手法が、言語的リソースが限られるベンガル語のような低リソースインド諸語に対しても、最小限のリソースで適応可能か？

主な発見

• HMMベースのTTSシステムは、単一の話者のデータベースのみを用いても、聞き取りやすく自然なイントネーションを持つベンガル語音声を効果的に生成した。
• メル・セプストラム係数は、HMMフレームワークにおける音声パラメータのモデリングに有効なスペクトル表現を提供した。
• 合成音声は高い聞き取りやすさを達成しており、主観的評価では低リソース言語としての妥当な自然さが確認された。
• システムは、文単位のイントネーションや強調のパターンを含むプロソディックなコントゥアを効果的にモデル化するという点で、強固な性能を示した。
• 限られた学習データでも、HMMベースのTTSがベンガル語に適していることが確認され、他のインド諸語向けの今後の開発を支援する根拠が得られた。
• 客観的なスペクトル解析と主観的な聴取テストの両方で、システムの性能が一貫した結果を示しており、評価手法の整合性が裏付けられた。