[論文レビュー] Probing the phonetic and phonological knowledge of tones in Mandarin TTS models

Jian Zhu|arXiv (Cornell University)|Dec 23, 2019

Speech Recognition and Synthesis参考文献 26被引用数 5

ひとこと要約

本研究では、対照的な刺激を用いて、メイド・タコトロン2およびBERT埋め込みを用いたタコトロン2の、中国語TTSモデルの音声的・音韻論的知識を検証した。結果として、両モデルは表面的な音高共鳴を正確に再現したが、新しい複雑な文におけるカテゴリー的Tone-3変化規則の適用は一貫して失敗しており、BERTを組み込んだモデルは一般化性能にわずかな改善を示したが、全体的な正確性は依然として低かった。

ABSTRACT

This study probes the phonetic and phonological knowledge of lexical tones in TTS models through two experiments. Controlled stimuli for testing tonal coarticulation and tone sandhi in Mandarin were fed into Tacotron 2 and WaveGlow to generate speech samples, which were subject to acoustic analysis and human evaluation. Results show that both baseline Tacotron 2 and Tacotron 2 with BERT embeddings capture the surface tonal coarticulation patterns well but fail to consistently apply the Tone-3 sandhi rule to novel sentences. Incorporating pre-trained BERT embeddings into Tacotron 2 improves the naturalness and prosody performance, and yields better generalization of Tone-3 sandhi rules to novel complex sentences, although the overall accuracy for Tone-3 sandhi was still low. Given that TTS models do capture some linguistic phenomena, it is argued that they can be used to generate and validate certain linguistic hypotheses. On the other hand, it is also suggested that linguistically informed stimuli should be included in the training and the evaluation of TTS models.

研究の動機と目的

• エンドツーエンドTTSモデルが中国語の語彙的音高の音声的および音韻論的知識をどの程度捉え込んでいるかを評価すること。
• TTSモデルが、予め記憶されたパターンを超えて、未観測の複雑な文における音高規則（特にカテゴリー的Tone-3変化）を一般化できるかを調査すること。
• BERT埋め込みによる構文情報の組み込みが、モデルの音韻論的規則の正しく適用する能力を向上させるかを評価すること。
• TTSモデルが、音声学および音韻論における言語学的仮説の生成と検証のための計算的ツールとして有効に使えるかを検討すること。
• 言語学的知見に基づいた刺激の設計が、TTSモデルの言語的正確性を向上させるために重要であることを強調すること。

提案手法

• 2つの実験用に制御された刺激を構築した：音高共鳴のための[ma, mo, mi]の576通りの二音節組み合わせを、6つのキャリアフレーズで変化させた。
• Tone-3変化の刺激は、二音節語および三音節語の一般化をテストするように設計され、変化の適用が句構造に依存する複雑な文法的構造も含んだ。
• テキスト入力をタコトロン2およびタコトロン2にBERT埋め込みを追加したモデルに与え、メルスペクトログ램を生成した。その後、WaveGlowを用いてそのスペクトログラムを波形に変換した。
• 生成された音声サンプルは音声的分析および人間による評価を経て、音高の正確性とプロソディの質が評価された。
• Tone-3変化タスクにおける2つのTTSモデルの性能を比較するために混合ロジスティック回帰モデルが用いられ、モデル間の差の有意性検定が実施された。
• 誤差分析では、誤りが構文的境界での誤った規則適用に起因するのか、それとも構文構造の誤解析に起因するのかを特定した。

実験結果

リサーチクエスチョン

• RQ1 TTSモデルは、人間の発話で観察される表面的な音高共鳴パターンをどの程度正確に再現できるか？
• RQ2 TTSモデルは、明示的な監視なしに、未観測の複雑な文法的構造へのTone-3変化規則の一般化が可能か？
• RQ3 BERT埋め込みによる構文情報の組み込みが、未観測の刺激に対するTone-3変化規則の適用精度を向上させるか？
• RQ4 Tone-3変化規則の適用誤りは、構文構造の解析失敗に起因するのか、それとも規則の誤適用に起因するのか？
• RQ5 TTSモデルは、音声学および音韻論における言語学的仮説の生成と検証のための有効なツールとして使用できるか？

主な発見

• タコトロン2およびBERT埋め込みを用いたタコトロン2の両モデルは、人間が生成したデータとよく一致する表面的な音高共鳴パターンを正確に再現した。
• ベースラインのタコトロン2モデルは、複雑なTone-3変化刺激で1フレーズあたり1.31回の音高ミスを犯したが、BERTを追加したバージョンではこの数値が1フレーズあたり0.92回に低下した。
• BERTを追加したモデルは、複雑な文へのTone-3変化の一般化において統計的に有意な改善を示した（β = -0.52、p = 0.01）が、全体的な正確性は依然として低かった。
• 両モデルは個々のバイグラムおよびトライグラムに対してTone-3変化規則を一貫して適用したが、長文における正しい構文的境界での適用に頻繁に失敗した。
• 誤差分析の結果、大多数の誤りは規則の適用失敗ではなく、構文構造の誤解析に起因しており、構造的理解の欠如が主な制限要因であることが示された。
• 自然な音声性とプロソディの質の高さにもかかわらず、TTSモデルはTone-3変化のカテゴリー的・規則的性質を完全に捉えておらず、基礎となる音韻論的規則の習得が不完全である可能性がある。