[論文レビュー] Recurrent Neural Network Postfilters for Statistical Parametric Speech Synthesis

Prasanna Kumar Muthukumar, Alan W. Black|arXiv (Cornell University)|Jan 26, 2016

Speech Recognition and Synthesis参考文献 15被引用数 4

ひとこと要約

本稿では、統計的パrametric音声合成における分類と回帰木（CART）によるメル倒頻スペクトル係数（MCEP）予測の誤りを是正するための再帰的ニューラルネットワーク（RNN）ポストフィルタを提案する。RNNは音声信号内の時間的依存性を活用でき、語彙情報などの新しい特徴量を容易に組み込むことができる。マニュアル補助座標法（MAC）を用いた共同学習ではMCDにわずかな向上が見られたが、全体的な向上は限定的である。

ABSTRACT

In the last two years, there have been numerous papers that have looked into using Deep Neural Networks to replace the acoustic model in traditional statistical parametric speech synthesis. However, far less attention has been paid to approaches like DNN-based postfiltering where DNNs work in conjunction with traditional acoustic models. In this paper, we investigate the use of Recurrent Neural Networks as a potential postfilter for synthesis. We explore the possibility of replacing existing postfilters, as well as highlight the ease with which arbitrary new features can be added as input to the postfilter. We also tried a novel approach of jointly training the Classification And Regression Tree and the postfilter, rather than the traditional approach of training them independently.

研究の動機と目的

• 統計的パrametric音声合成におけるCARTによるMCEP予測の誤りを是正するRNNベースのポストフィルタの有効性を調査すること。
• 任意の新しい特徴量（例：ウェーブレット、語彙的特徴）をポストフィルタリングプロセスに柔軟に統合できるようにすること。
• CARTとRNNポストフィルタをマニュアル補助座標法（MAC）を用いて共同で最適化することにより、独立した学習とは異なったアプローチを検討すること。
• RNNポストフィルタが従来のポストフィルタ（例：MLPG）を上回るか、補完的に機能するかを評価すること。

提案手法

• 訓練データ上で標準的なClustergenシステムを学習し、その出力をRNNポストフィルタの入力とする。
• 順方向の再帰的接続を活用して時間的依存性をモデル化できるように、RNNアーキテクチャを設計し、MCEPの平均値と勾配（デルタ）を逐次処理する。
• 語彙的特徴（例：発音記号や状態情報）をRNNポストフィルタの追加入力として導入し、文脈に配慮した是正を向上させる。
• マニュアル補助座標法（MAC）を用いて、CARTとRNNポストフィルタを同時に最適化する。これにより、中間表現Zを補助変数として導入する。
• 目的関数を組み合わせ損失として定式化する：E(W,Z;μ) = ||f₂(Z;W) - Y||² + μ||f₁(X;W) - Z||² とし、WとZの間で交互に最小化を行う。
• 確率的勾配降下法を用いた交互最適化によりシステムを学習し、μを徐々に無限大に近づけることで制約を強制する。

実験結果

リサーチクエスチョン

• RQ1 CARTによるMCEP予測のスペクトル歪みを効果的に是正できるRNNポストフィルタは、統計的パrametric合成において有効であるか？
• RQ2 RNNポストフィルタに語彙的特徴を組み込むことで、音声合成品質に測定可能な向上が得られるか？
• RQ3 MACを用いたCARTとRNNポストフィルタの共同学習は、独立学習よりも優れた結果をもたらすか？
• RQ4 RNNポストフィルタは、従来のポストフィルタ（例：MLPG）と比較して性能が優れているか？
• RQ5 RNNポストフィルタは、MLPGなどの既存のポストフィルタの重複する関数をどれほど学習しているか？

主な発見

• RNNポストフィルタ単体でも、ベースラインのCARTと比較してMCDが顕著に低減しており、スペクトル誤差是正の有効性が示された。
• MLPGと組み合わせた場合、RNNポストフィルタはわずかな向上しか得られず、関数的重複や最適でない相互作用の可能性が示唆された。
• MACを用いた共同学習では、MCDの低減が限定的であり、SLTで4.89、RMSで4.91（2イテレーション後）という結果に留まった。
• MACアルゴリズムは収束が遅く、1イテレーション目以降に顕著な改善が得られず、過学習または不適切なハイパーパramータ選択の可能性が示唆された。
• RNNポストフィルタは、アーキテクチャの大幅な見直しを必要とせず、語彙情報などの新しい特徴量を容易に統合できることから、その柔軟性が顕著に現れた。
• 予備的な結果から、MACがこのフレームワークでは有効でない可能性が示唆された。過学習や最適パラメータの探索空間が大きすぎるためである。