[論文レビュー] Investigating gated recurrent neural networks for speech synthesis

Zhizheng Wu, Simon King|arXiv (Cornell University)|Jan 11, 2016

Speech Recognition and Synthesis参考文献 21被引用数 19

ひとこと要約

この論文は、音声合成における長短記憶ニューラルネットワーク（LSTM）の個々の構成要素の役割を調査し、忘却ゲートのみを保持する簡素化されたアーキテクチャを提案する。視覚的・実験的分析を通じて、忘却ゲートが音声の時間的構造をモデル化するために不可欠であることが示され、入力ゲートや出力ゲートといった他の構成要素は品質に悪影響を及げず削除可能である。これによりパラメータ数は約50%削減され、生成時間は28%短縮された。

ABSTRACT

Recently, recurrent neural networks (RNNs) as powerful sequence models have re-emerged as a potential acoustic model for statistical parametric speech synthesis (SPSS). The long short-term memory (LSTM) architecture is particularly attractive because it addresses the vanishing gradient problem in standard RNNs, making them easier to train. Although recent studies have demonstrated that LSTMs can achieve significantly better performance on SPSS than deep feed-forward neural networks, little is known about why. Here we attempt to answer two questions: a) why do LSTMs work well as a sequence model for SPSS; b) which component (e.g., input gate, output gate, forget gate) is most important. We present a visual analysis alongside a series of experiments, resulting in a proposal for a simplified architecture. The simplified architecture has significantly fewer parameters than an LSTM, thus reducing generation complexity considerably without degrading quality.

研究の動機と目的

• 音声合成におけるLSTMの優れた性能の理由を、内部構成要素の分析を通じて解明すること。
• 例えば忘却ゲートや入力ゲートといったLSTMの構成要素が、音声の軌道をモデル化するために果たす役割を特定すること。
• 複雑性を低減した高品質な音声合成を実現する簡素化された再帰的アーキテクチャを開発すること。
• 構成要素の削除が、客観的指標および主観的な自然さに与える影響を評価すること。

提案手法

• 発音境界や音声構造と相関する忘却ゲート活性化の可視化分析。
• LSTMセル状態と予測された音響特徴軌道（例：MFCC）との相関分析。
• LSTM変種の実験的評価：NIG（入力ゲートなし）、NOG（出力ゲートなし）、NFG（忘却ゲートなし）、NPH（ピープホールなし）、S-LSTM（忘却ゲートのみ）。
• 文脈窓入力と標準損失関数を用いた、エンコーダ・デコーダフレームワークでの学習と評価。
• 客観的指標（MCD、F0 RMSE、BAP、V/UV）と30名のネイティブスピーカーによる主観的好みテストを用いたモデル比較。
• 入力ゲート・出力ゲート・ピープホール接続をすべて削除した、忘却ゲートのみを保持する簡素化LSTM（S-LSTM）の実装。

実験結果

リサーチクエスチョン

• RQ1 LSTMの忘却ゲートは、音声パラメータ系列の時間的構造をどのようにモデル化に寄与しているか？
• RQ2 音声合成中に音響特徴軌道を追跡するにあたり、メモリセルの役割は何か？
• RQ3 LSTMアーキテクチャのどの構成要素が高品質な音声合成に不可欠か？
• RQ4 忘却ゲートのみを保持する簡素化LSTMアーキテクチャ（S-LSTM）は、完全なLSTMと同等の性能を達成できるか？
• RQ5 LSTM構成要素を削除する際のモデルの複雑さと合成品質のトレードオフは何か？

主な発見

• 忘却ゲートの活性化は発音境界と強く相関しており、音声構造のモデル化に寄与していることが示された。
• LSTMセル状態はターゲット音響軌道と高い相関（0.9）を示しており、予測系列の形状を追跡していることが示唆された。
• 忘却ゲートを除いたNFGモデルでは顕著な性能低下（MCD: 4.68 dB）が観察され、忘却ゲートが不可欠であることが確認された。
• S-LSTM（忘却ゲートのみ）は、パラメータ数を788,224から393,728に削減し、生成時間を214秒から154秒に短縮（28%削減）した。
• 主観的テストではLSTMとS-LSTMに有意な好みの差がなく、S-LSTMはLSTMと比較して74.3%の好まれ方を示した。
• GRUとS-LSTMは、パラメータ数を減らしながらも完全なLSTMと同等の性能を達成しており、高品質な合成には複雑なゲーティング機構が必須でないことが示された。