[論文レビュー] Maximizing Mutual Information for Tacotron

Peng Liu, Xixin Wu+4 more|arXiv (Cornell University)|Aug 30, 2019

Speech Recognition and Synthesis参考文献 42被引用数 13

ひとこと要約

この論文では、自己回帰的モデルにおける局所的情報の優先性に起因する発話誤り率の低下を目的として、Tacotronにおけるテキスト条件と予測音声特徴の間の相互情報量を最大化する（MMI）手法を提案する。補助的なCTC認識器を用いてテキスト-音声依存関係を強化することで、エンドツーエンド学習を損なわずに誤りを低減し、LJSpeechでDFR 0.2の条件下で発話誤り率を最大67％相対的に低減する。

ABSTRACT

End-to-end speech synthesis methods already achieve close-to-human quality performance. However compared to HMM-based and NN-based frame-to-frame regression methods, they are prone to some synthesis errors, such as missing or repeating words and incomplete synthesis. We attribute the comparatively high utterance error rate to the local information preference of conditional autoregressive models, and the ill-posed training objective of the model, which describes mostly the training status of the autoregressive module, but rarely that of the condition module. Inspired by InfoGAN, we propose to maximize the mutual information between the text condition and the predicted acoustic features to strengthen the dependency between them for CAR speech synthesis model, which would alleviate the local information preference issue and reduce the utterance error rate. The training objective of maximizing mutual information can be considered as a metric of the dependency between the autoregressive module and the condition module. Experiment results show that our method can reduce the utterance error rate.

研究の動機と目的

• 自己回帰的アーキテクチャに起因する局所的情報の優先性に起因する、Tacotronのようなエンドツーエンド音声合成モデルにおける高い発話誤り率を是正すること。
• 条件モジュールと自己回帰的モジュールの間の依存関係をうまく反映しない不適切な学習目的を緩和すること。
• 相互情報量の最大化を用いて、入力テキストと予測音声特徴の間の依存関係を強化すること。
• エンドツーエンド学習を損なわず、外部の教師信号を必要とせずに推論時の信頼性を向上させること。
• 再構成誤差のみに依存するのではなく、言語的コンテンツのアライメントをよりよく反映する学習目的を提供すること。

提案手法

• テキスト条件と予測音声特徴の間の相互情報量を推定するために補助的なCTC認識器を導入する。
• 同じ隠れ状態をTacotronデコーダーと共有するように、CTC認識器をテキストと音声特徴のアライメントを予測するように学習させる。
• 再構成誤差の最小化と対照的学習による相互情報量の最大化の両方を最適化する統合的目的関数を用いて、主なTacotronモデルを最適化する。
• 露出バイアスを低減するために、推論条件を模倣するためのドロップフレームレート（DFR）戦略を訓練中に適用する。
• CTC入力の前に、テキストと音声情報を混合する追加のLSTM層を備えた共有エンコーダーを用いる。
• 相互情報量の重み付けハイパーパrameter λ を 1.0 に設定し、200k回の訓練ステップで評価する。

実験結果

リサーチクエスチョン

• RQ1 テキストと音声特徴の間の相互情報量を最大化することで、Tacotronにおける発話誤り率を低減できるか？
• RQ2 相互情報量の最大化は、自己回帰的音声合成モデルにおける局所的情報の優先性を緩和するか？
• RQ3 提案手法はエンドツーエンド学習を損なわず、条件モジュールと出力の間の依存関係を強化できるか？
• RQ4 相互情報量の目的関数の追加により、知覚的品質や波形忠実度が劣化するか？
• RQ5 相互情報量の最大化とDFR訓練の組み合わせは、一般化性能と誤り低減にどのように影響するか？

主な発見

• RF 2 で DFR を使用しない場合、LJSpeechで発話誤り率（UER）を16％から10％に低下させ、相対的に37.5％の改善を達成した。
• DFR 0.2 を使用した場合、MMIを適用することでUERは5％に低下し、ベースラインと比較して67％の相対的低減を達成した。
• より大きなdb-CSMSCコーパスにおいても、同じ設定でUERを17％から5％に低下させ、強力な一般化性能を示した。
• 損失曲線の分析から、MMIを用いない場合、訓練誤差と検証誤差の差が早期に拡大し始め、非言語的詳細への過学習が生じていることが示された。
• MMIを適用したモデルは、ベースライン（3.84 対 3.83）と同等の平均意見スコア（MOS）を維持しており、知覚的劣化がないことを示した。
• MMIとDFR 0.2 の組み合わせが最も高いMOS（3.92）を達成し、より高い耐障害性と品質を示した。