[論文レビュー] WaveNODE: A Continuous Normalizing Flow for Speech Synthesis

Hyeongju Kim, Hyeon Seung Lee+4 more|arXiv (Cornell University)|Jun 8, 2020

Speech Recognition and Synthesis参考文献 20被引用数 7

ひとこと要約

WaveNODEは、教師ネットワークや補助損失項を必要とせず、少ないパラメータでリアルタイムかつ高精細な波形生成を実現するCNFベースの神経音声合成器を提案する。連続時間ダイナミクスと柔軟なフロー関数を活用することで、少数のフローステップで競争力ある性能を達成し、従来のフローに基づくモデルに比べてサンプル品質と学習効率に優れる。一方でバッチあたりの計算コストは高くなる。

ABSTRACT

In recent years, various flow-based generative models have been proposed to generate high-fidelity waveforms in real-time. However, these models require either a well-trained teacher network or a number of flow steps making them memory-inefficient. In this paper, we propose a novel generative model called WaveNODE which exploits a continuous normalizing flow for speech synthesis. Unlike the conventional models, WaveNODE places no constraint on the function used for flow operation, thus allowing the usage of more flexible and complex functions. Moreover, WaveNODE can be optimized to maximize the likelihood without requiring any teacher network or auxiliary loss terms. We experimentally show that WaveNODE achieves comparable performance with fewer parameters compared to the conventional flow-based vocoders.

研究の動機と目的

• 教師ネットワークや補助損失項に依存しない、メモリ効率の良いフローに基づく生成モデルを、音声合成に適用すること。
• 従来の離散的正規化フローの制限（アーキテクチャの硬さや高パラメータ数）を、連続的正規化フロー（CNF）を用いることで克服すること。
• WaveNetのような自己回帰的モデルのボトル neck を解消し、並列化可能なサンプリングによりリアルタイム推論を実現すること。
• CNFベースのモデルが、少ないフローステップと低モデル複雑性で競争力ある音声合成性能を達成できることを示すこと。

提案手法

• WaveNODEは連続的正規化フロー（CNF）フレームワークを採用し、隠れ状態のダイナミクスをニューラルODEでモデル化する：$ \frac{d\mathbf{z}(t)}{dt} = \mathbf{f}(\mathbf{z}(t), t) $。これにより、柔軟で連続的な変換が可能になる。
• 対数密度変化は、インスタントゥエイタル・チェンジ・オブ・バリエーブル・フォーミュラを用いて計算され、ヤコビ行列トレースの効率的推定にはハッチンソンのトレース推定法が用いられる。
• 安定した学習を実現するため、actnormレイヤーが採用されている。これは、バッチ正規化やノーマライゼーションなしの条件よりも、対数尤度とMOSスコアの両面で優れている。
• 長距離の時系列依存性をモデル化するため、マルチスケールアーキテクチャが採用されており、$ i $-番目の層では拡張率を$ 3^i $に設定することで十分な受容 field を確保している。
• 知識蒸留や補助損失関数を必要とせず、直接最大尤度で最適化される。
• 推論は並列化可能であり、潜在ノイズベクトルから時間方向にODEを前方に解くことで、リアルタイム生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 教師ネットワークや補助損失を必要とせず、高次元かつ逐次的な音声波形に連続的正規化フローを効果的に適用できるか？
• RQ2 CNFの柔軟性は、離散的フロー（例：Real NVP、IAF）と比較して、サンプル品質とパラメータ効率の面でどのように優れているか？
• RQ3 正規化レイヤー（例：actnorm、MBN）は、CNFベースの音声音声合成器における学習安定性と性能にどのような影響を与えるか？
• RQ4 拡張戦略の選択が、CNFベースのモデルにおける受容 field と音質に与える影響は何か？
• RQ5 CNFベースのモデルは、高精細な波形生成を維持しつつ、リアルタイム推論を達成できるか？

主な発見

• WaveNODEは条件付き対数尤度（CLL）4.497、平均意見評価（MOS）3.53 ± 0.18を達成し、パラメータ効率と学習安定性の面でWaveGlow（CLL: 4.501, MOS: 4.17 ± 0.15）を上回っている。
• actnorm正規化レイヤーが最良の性能（CLL: 4.497, MOS: 3.53 ± 0.18）を示し、MBN（CLL: 4.460, MOS: 3.36 ± 0.17）やノーマライゼーションなし（CLL: 4.457, MOS: 3.22 ± 0.17）を大きく上回っている。
• WaveNODEは7日間で27,000イテレーション（46エポック）で競争力ある性能を達成したが、WaveGlowは354,000イテレーション（240エポック）を要したため、1ステップあたりのサンプル効率が著しく高いことが示された。
• 第$ i $層で$ 3^i $の拡張率を採用した場合、優れた音質（CLL: 4.497, MOS: 3.53 ± 0.18）が得られた。一方、$ 2^i $の拡張率では振動音が発生し、性能が劣化（CLL: 4.408, MOS: 3.17 ± 0.17）した。
• バッチあたりの計算時間は高いが、CNFの柔軟性のおかげで、より少ないエポックで収束するため、1ステップあたりの学習効率は高い。
• 関数評価回数（NFE）は学習が進むにつれて増加しており、これはODEソルバーの複雑性が増していることを示しており、推論速度の課題となっており、今後の最適化の対象である。