[論文レビュー] SampleRNN: An Unconditional End-to-End Neural Audio Generation Model

Soroush Mehri, Kundan Kumar+6 more|arXiv (Cornell University)|Dec 22, 2016

Music and Audio Processing被引用数 362

ひとこと要約

SampleRNN は階層的でマルチレートの RNN フレームワークを導入し、生 end-to-end の生波形生成を行い、無条件の音声生成でベースラインを上回り、人間が好むサンプルを示す。

ABSTRACT

In this paper we propose a novel model for unconditional audio generation based on generating one audio sample at a time. We show that our model, which profits from combining memory-less modules, namely autoregressive multilayer perceptrons, and stateful recurrent neural networks in a hierarchical structure is able to capture underlying sources of variations in the temporal sequences over very long time spans, on three datasets of different nature. Human evaluation on the generated samples indicate that our model is preferred over competing models. We also show how each component of the model contributes to the exhibited performance.

研究の動機と目的

• 手作りの特徴量を用いず、 raw audio の無条件生成を動機づける。
• 長距離時系列構造を捉える多層 RNN アーキテクチャを開発する。
• スピーチ、 vocal sounds、音楽など、多様な音声ドメインでの性能を評価する。
• 自己回帰ベースラインおよび WaveNet 的モデルと比較する。
• 提案モデルのサンプルに対する人間の嗜好を示す。

提案手法

• 音声系列の確率を条件付きの積として自己回帰フレームワークで表現する。
• 異なる時間分解能で動作するフレームレベル RNN モジュールの階層を構築する。
• 離散出力を持つサンプルレベル MLP を用いて次サンプルの分布をモデル化する。
• perforated upsampling によって高位階の条件ベクトルを下位階へ feed する。
• truncated backpropagation through time と teacher forcing でエンドツーエンドに訓練する。
• 音声を256レベルに量子化し、（任意に）入力をサンプルレベル MLP の前に埋め込む。

実験結果

リサーチクエスチョン

• RQ1 階層的でマルチスケールな RNN モデルは、生の音声の長距離依存性を単一スケールモデルよりうまく捉えられるか？
• RQ2 無条件の音声生成品質におけるフレームレベルとサンプルレベルのモデリングの影響は？
• RQ3 SampleRNN は diverse な音声データセットで WaveNet および従来の RNN ベースラインとどう比較されるか？
• RQ4 出力分布を離散（多項分布）に離散化することは、実数値出力に比べて生成品質を改善するか？
• RQ5 メモリ深さとサブシーケンス長は訓練と生成品質にどう影響するか？

主な発見

Model	Blizzard	Onomatopoeia	Music
RNN (Eq. 2)	1.434	2.034	1.410
WaveNet (re-impl.)	1.480	2.285	1.464
SampleRNN (2-tier)	1.392	2.026	1.076
SampleRNN (3-tier)	1.387	1.990	1.159

• SampleRNN（3-tier）は Blizzard、Onomatopoeia、Music データセット全体で強力な log-likelihood スコアを達成し、いくつかの指標で RNN および WaveNet ベースラインを上回る。
• SampleRNN（2-tier）および（3-tier）は Blizzard、Onomatopoeia、Music データセットのテスト NLL でベースラインを上回る（Blizzard/Music の比較で 1.392 vs 1.434/1.480/1.410）。
• 実数出力バリアントは離散（256-bin）出力と比較して劣る。離散モデリングがより良い尤度を与える。
• メモリ解析は SampleRNN が秒単位で話者識別を保持し、沈黙にもかかわらず一貫性を維持できることを示す。
• 人間の評価では Blizzard データで SampleRNN（3-tier）サンプルが競合モデルより高く評価される傾向が強く、Music でも同様の傾向。
• サブシーケンス長を512まですると検証 NLL が改善され、TBPTT 中のより長い文脈の利点を示す。