[論文レビュー] SING: Symbol-to-Instrument Neural Generator

Alexandre Défossez, Neil Zeghidour+3 more|arXiv (Cornell University)|Oct 23, 2018

Speech and Audio Processing被引用数 26

ひとこと要約

SINGは、1024サンプルの音声フレームを一度に予測することで、楽器、音高、ベロシティの条件から高精細な音符を生成する軽量で非自己回帰型の神経音声合成器です。対数スペクトログラム上の新規スペクトル損失を用いることでNSynthデータセット上で最先端の知覚的品質を達成しており、WaveNetベースの自己符号化器ベースラインと比較して学習が32倍速く、推論が2,500倍速いです。

ABSTRACT

Recent progress in deep learning for audio synthesis opens the way to models that directly produce the waveform, shifting away from the traditional paradigm of relying on vocoders or MIDI synthesizers for speech or music generation. Despite their successes, current state-of-the-art neural audio synthesizers such as WaveNet and SampleRNN suffer from prohibitive training and inference times because they are based on autoregressive models that generate audio samples one at a time at a rate of 16kHz. In this work, we study the more computationally efficient alternative of generating the waveform frame-by-frame with large strides. We present SING, a lightweight neural audio synthesizer for the original task of generating musical notes given desired instrument, pitch and velocity. Our model is trained end-to-end to generate notes from nearly 1000 instruments with a single decoder, thanks to a new loss function that minimizes the distances between the log spectrograms of the generated and target waveforms. On the generalization task of synthesizing notes for pairs of pitch and instrument not seen during training, SING produces audio with significantly improved perceptual quality compared to a state-of-the-art autoencoder based on WaveNet as measured by a Mean Opinion Score (MOS), and is about 32 times faster for training and 2, 500 times faster for inference.

研究の動機と目的

• 自己回帰的生成を回避することで、高速な学習と推論を実現する計算効率の良い神経音声合成器の開発。
• ほぼ1,000種類の楽器、65音高、5段階のベロシティをカバーする1つのモデルでエンドツーエンドの学習を可能にする。
• 計算コストを大幅に削減しながら、既存の自己符号化器ベースの手法よりも知覚的品質を向上させる。
• 新規のスペクトル損失関数により、低次元の潜在空間で音高、楽器、ベロシティを分離可能にする。

提案手法

• モデルは、各音声フレームの楽器、音高、ベロシティを潜在埋め込みに変換するための3層LSTMを使用する。
• 1つの4層畳み込みデコーダーが、1回の順伝播で潜在埋め込みから1024サンプルの音声フレームを生成する。
• 新規のスペクトル損失は、生成波形とターゲット波形の対数パワースペクトログラム間の1ノルムを計算し、位相に依存しない学習を可能にする。
• LSTMは、同じスペクトル損失を用いて生波形を再構築する事前学習済み畳み込み自己符号化器で初期化される。
• エンドツーエンドの学習は、スペクトル損失を逆伝播することで実現され、エンコーダーとデコーダーの共同最適化が可能になる。
• 自然さと忠実度を評価するために、人間による知覚テスト（MOS）とABX類似度タスクによる評価が実施される。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰的かつフレーム単位の音声生成モデルは、自己回帰的WaveNetベースのモデルと同等の知覚的品質を達成できるか？
• RQ2 対数スペクトログラムに基づくスペクトル損失は、後処理を伴わず、効果的な位相に依存しない学習を可能にするか？
• RQ3 1つのデコーダーモデルは、推論時に未学習の楽器と音高の組み合わせにも一般化できるか？
• RQ4 モデルは潜在表現において、どの程度音高、楽器、ベロシティを分離しているか？

主な発見

• SINGは平均意見評価（MOS）で3.55 ± 0.23を達成し、WaveNetベースの自己符号化器ベースライン（2.85 ± 0.24）よりも顕著に高い知覚的品質を示した。
• SINGは学習が32倍速く（120時間*GPU 対 3840時間*GPU）、音声生成も2,500倍速かった（512秒/秒 対 0.2秒/秒）。
• ABX類似度テストでは、69.7％の人がSINGの出力をWaveNetベースラインよりも好んだため、真値の音符に高い忠実度を示した。
• モデルは圧縮率2133を達成し、元の波形と比較してはるかに少ない潜在次元で音声系列を表現した。
• SINGのモデルサイズ（243 MB）は、WaveNetベースのベースライン（948 MB）よりも4倍以上小さく、メモリ効率が向上した。
• 訓練中に見られなかった楽器-音高ペアに対しても、SINGは音符を正常に合成でき、優れた一般化能力を示した。