[论文解读] A Bengali HMM Based Speech Synthesis System

Sankar Mukherjee, Shyamal Kumar Das Mandal|arXiv (Cornell University)|Jun 16, 2014

Speech Recognition and Synthesis参考文献 14被引用 9

一句话总结

本文提出了一种基于隐马尔可夫模型（HMM）的孟加拉语文本到语音（TTS）系统，利用隐马尔可夫模型对语音参数轨迹进行建模，生成自然语音。基于包含梅尔倒谱系数的孟加拉语语音数据库，该系统实现了清晰可懂且语调准确的语音合成，证明了基于HMM的TTS在孟加拉语等低资源印度语言中的可行性。

ABSTRACT

The paper presents the capability of an HMM-based TTS system to produce Bengali speech. In this synthesis method, trajectories of speech parameters are generated from the trained Hidden Markov Models. A final speech waveform is synthesized from those speech parameters. In our experiments, spectral properties were represented by Mel Cepstrum Coefficients. Both the training and synthesis issues are investigated in this paper using annotated Bengali speech database. Experimental evaluation depicts that the developed text-to-speech system is capable of producing adequately natural speech in terms of intelligibility and intonation for Bengali.

研究动机与目标

• 开发一种面向孟加拉语（一种低资源印度语言）的基于HMM的文本到语音系统。
• 研究HMM建模在捕捉语音参数轨迹以生成合成语音方面的有效性。
• 通过感知和谱分析评估合成孟加拉语语音的可懂性和自然度。
• 探索在基于HMM的TTS中使用梅尔倒谱系数作为谱表示的可能性。
• 为未来在其他语言资源有限的印度语言中开发基于HMM的TTS系统建立基线。

提出的方法

• 该系统采用隐马尔可夫模型（HMMs）对孟加拉语语音单位的语音参数时间轨迹进行建模。
• 使用梅尔倒谱系数表示谱特征，这些系数从训练语音数据库中提取。
• 训练阶段包括对齐文本与语音数据，为每个语音单位构建HMM，学习状态转移概率和输出概率。
• 在合成阶段，系统通过从训练好的HMM中采样生成语音参数序列，然后从这些参数重建波形。
• 使用声码器将生成的梅尔倒谱轨迹重建为时域信号，实现语音波形合成。
• 使用标注的孟加拉语语音数据库进行训练和评估，确保语言准确性和语音单位的充分覆盖。

实验结果

研究问题

• RQ1 基于HMM的TTS能否在有限语音数据库下有效建模并合成自然的孟加拉语语音？
• RQ2 在HMM框架中，梅尔倒谱系数在表示孟加拉语语音的谱特征方面效果如何？
• RQ3 合成语音在孟加拉语中保持可懂性和自然语调的程度如何？
• RQ4 语音单位建模与状态转移学习对合成语音质量的影响有多大？
• RQ5 该HMM方法能否在语言资源极少的印度语言（如孟加拉语）中有效应用？

主要发现

• 基于HMM的TTS系统仅使用单个说话人的语音数据库，成功生成了可懂且语调自然的孟加拉语语音。
• 梅尔倒谱系数在HMM框架中作为语音参数建模的谱表示具有良好的有效性。
• 合成语音实现了高可懂性，主观评估显示其自然度在低资源语言中可接受。
• 该系统在建模语调轮廓方面表现出稳健性，尤其在句子级语调和重音模式方面表现良好。
• 结果证实，即使训练数据有限，基于HMM的TTS在孟加拉语中依然可行，为其他印度语言的后续开发提供了支持。
• 通过客观谱分析和主观听音测试对系统性能进行了验证，各类评估方法结果一致。