[論文レビュー] Robust Sequence-to-Sequence Acoustic Modeling with Stepwise Monotonic Attention for Neural TTS

Mutian He, Yan Deng+1 more|arXiv (Cornell University)|Jun 3, 2019

Speech Recognition and Synthesis参考文献 21被引用数 7

ひとこと要約

本論文は、ドメイン外入力を用いた際の頑健性を向上させるために、sequence-to-sequenceニューラルTTSのための段階的単調注意メカニズムを提案する。厳密な単調性を強制し、入力のスキップを排除することで、アライメントの安定性を向上させ、崩壊や繰り返しといった注意エラーを低減する。Interspeech 2019で検証された結果、ドメイン内での自然さを損なわずに顕著な頑健性の向上が達成された。

ABSTRACT

Neural TTS has demonstrated strong capabilities to generate human-like speech with high quality and naturalness, while its generalization to out-of-domain texts is still a challenging task, with regard to the design of attention-based sequence-to-sequence acoustic modeling. Various errors occur in those inputs with unseen context, including attention collapse, skipping, repeating, etc., which limits the broader applications. In this paper, we propose a novel stepwise monotonic attention method in sequence-to-sequence acoustic modeling to improve the robustness on out-of-domain inputs. The method utilizes the strict monotonic property in TTS with constraints on monotonic hard attention that the alignments between inputs and outputs sequence must be not only monotonic but allowing no skipping on inputs. Soft attention could be used to evade mismatch between training and inference. The experimental results show that the proposed method could achieve significant improvements in robustness on out-of-domain scenarios for phoneme-based models, without any regression on the in-domain naturalness test.

研究の動機と目的

• ドメイン外入力に直面した際の、注意に基づくsequence-to-sequence音声モデルの一般化性能の低さを改善すること。
• 未知の言語的文脈における一般的な注意エラー（崩壊、スキップ、繰り返し）を軽減すること。
• 入力のスキップを許さない厳密な単調性を強制することで、アライメントの頑健性を向上させること。
• ドメイン内データにおける高い自然さと品質を維持しながら、ドメイン外性能を向上させること。

提案手法

• 入力系列と出力系列の間で厳密な単調的アライメントを強制する段階的単調注意メカニズムを導入する。
• 各入力トークンが正確に一度、かつ順序に従って注目されるように制約を課し、スキップや繰り返しを防止する。
• 訓練時にソフト注意を用いることで、ハード注意における訓練時と推論時の不一致を回避する。
• エンドツーエンドのニューラルTTSのためのsequence-to-sequence音声モデリングフレームワークにこの手法を適用する。
• バックプロパゲーション中に勾配伝搬を可能にするために、ハード注意の微分可能近似を採用する。
• 注目メカニズムが単調かつスキップなしであるように設計し、安定的かつ解釈可能なアライメントを保証する。

実験結果

リサーチクエスチョン

• RQ1 入力のスキップを許さない単調的注意メカニズムは、ドメイン外入力におけるニューラルTTSの頑健性を向上させることができるか？
• RQ2 厳密な単調性を強制することで、未知の言語的文脈における注意の安定性とエラー率にどのような影響を与えるか？
• RQ3 提案手法は、ドメイン外一般化を向上させる一方で、ドメイン内自然さを維持できるか？
• RQ4 訓練時にソフト注意を用いることで、ハード注意を効果的に近似できるか、かつアライメントの整合性を保てるか？

主な発見

• 提案手法は、ベースラインの注意メカニズムと比較して、ドメイン外テストセットにおいて顕著な頑健性の向上を達成した。
• 未知の入力条件下で、注意の崩壊、スキップ、繰り返しエラーが著しく低減された。
• ドメイン内評価においても高い自然さと品質を維持しており、性能の低下は認められなかった。
• 多様なドメイン外テストケースにおいて一貫した向上が見られ、強力な一般化能力を示した。