[論文レビュー] MelNet: A Generative Model for Audio in the Frequency Domain

Sean Vasquez, Mike Lewis|arXiv (Cornell University)|Jun 4, 2019

Music and Audio Processing参考文献 50被引用数 111

ひとこと要約

MelNet は高解像度スペクトログラムを多段階の自己回帰二次元時刻周波数モデルでモデル化することにより高忠実度の音声を生成し、条件なしの音声/音楽生成とエンドツーエンドのテキスト音声合成を実現する。長距離の構造と忠実度の捕捉において、従来の時間領域モデルを上回る。

ABSTRACT

Capturing high-level structure in audio waveforms is challenging because a single second of audio spans tens of thousands of timesteps. While long-range dependencies are difficult to model directly in the time domain, we show that they can be more tractably modelled in two-dimensional time-frequency representations such as spectrograms. By leveraging this representational advantage, in conjunction with a highly expressive probabilistic model and a multiscale generation procedure, we design a model capable of generating high-fidelity audio samples which capture structure at timescales that time-domain models have yet to achieve. We apply our model to a variety of audio generation tasks, including unconditional speech generation, music generation, and text-to-speech synthesis---showing improvements over previous approaches in both density estimates and human judgments.

研究の動機と目的

• 長距離依存性を時間領域の波形よりも取り扱いやすく捕捉するために、周波数領域での音声モデル化を動機づける。
• 高解像度スペクトログラム上で表現力豊かな自己回帰モデルを開発し、情報損失と過滑らかさを低減する。
• ローカルな詳細と全体の構造を共同で捉える多段階（粗い-to-細かい）生成手順を提案する。
• 条件なしの音声生成、音楽生成、およびエンドツーエンドのテキスト音声合成への広範な適用性を実証する。

提案手法

• スペクトログラム要素ごとにガウス混合モデルを用いて、条件付き分布の直積としてスペクトログラムをモデル化する。
• 各条件付き分布を前方の文脈に条件付けられたニューラルネットワークでパラメータ化する。
• 2スタック自己回帰ネットワークを用いる：time-delayedスタック（以前のフレームから情報を捉える）とfrequency-delayedスタック（フレーム内の履歴とtime-delayedスタックの出力を捉える）。
• テキスト/話者入力の中心化スタックと条件付け機構を任意で含める。
• スペクトログラムを階層(x1,…,xG)に分割し、粗い順から細かい順に生成する多段階生成アプローチを採用し、階層間で条件付けを交互に行う。
• 訓練は再帰的な階層分割（時間または周波数に沿って分割）と階層別ネットワークを使用し、サンプリングは生成された階層を交互に組み合わせて完全なスペクトrogramを形成する。
• スペクトログラムフレームと文字列列との間の学習済みアライメント（位置ベースのアテンション）を介したテキスト音声合成のエンドツーエンド条件付け。）

実験結果

リサーチクエスチョン

• RQ1 完全な自己回帰の2D時刻周波数モデルで高解像度スペクトログラムをモデル化することは、時間領域モデルが達成する範囲を超える長距離の音声構造を捉えられるか？
• RQ2 多段階（粗い-to-細かい）生成は、単一スケールの自己回帰スペクトログラムモデルに比べて忠実度を向上させ、過滑らかさを低減するか？
• RQ3 MelNetは条件なしの音声、音楽生成、およびエンドツーエンドのテキスト音声合成生成に広く適用できるか、また確率密度推定と人間の判断において波形ベースのベースラインと比較してどのように性能を発揮するか？
• RQ4 この枠組みの中でスペクトログラムとテキスト間のアライメントを学習することでエンドツーエンドTTSを実現できるか？

主な発見

• MelNetは長いサンプルにおける人間の判断で、WaveNetベースラインよりも音声と音楽の長距離構造を一貫して生成することを学習する。
• 条件なしタスクでは、単一話者・多声話者・ピアノ音楽データ全体で一貫した抑揚と音声特性を持つサンプルを生成する。
• エンドツーエンドTTS設定では、MelNetは複数話者の合成を行い、テキストと話者入力に条件付けられた多モーダルな発声表現を捉えることができる。
• 定性的な結果は、MelNetが先行シーケンスを通じて話者特性を維持し、VoxCeleb2データ中で話し方のスタイルやノイズ条件の変化を生成できることを示す。
• 多段階生成手順により、全体構造を保持しつつ高解像度スペクトログラムを詳細な局所忠実度とともに生成できる。）