[論文レビュー] GANSynth: Adversarial Neural Audio Synthesis

Jesse Engel, Kumar Krishna Agrawal+4 more|arXiv (Cornell University)|Feb 23, 2019

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 239

ひとこと要約

GANSynth は、GAN を用いて log-magnitude スペクトログラムと瞬時周波数を生成し、ピッチ条件付けを行うことで高忠実度かつ局所的に整合した音声合成を実現し、NSynth 上で WaveNet と比べて知覚品質を compete させつつ生成を高速化します。

ABSTRACT

Efficient audio synthesis is an inherently difficult machine learning task, as human perception is sensitive to both global structure and fine-scale waveform coherence. Autoregressive models, such as WaveNet, model local structure at the expense of global latent structure and slow iterative sampling, while Generative Adversarial Networks (GANs), have global latent conditioning and efficient parallel sampling, but struggle to generate locally-coherent audio waveforms. Herein, we demonstrate that GANs can in fact generate high-fidelity and locally-coherent audio by modeling log magnitudes and instantaneous frequencies with sufficient frequency resolution in the spectral domain. Through extensive empirical investigations on the NSynth dataset, we demonstrate that GANs are able to outperform strong WaveNet baselines on automated and human evaluation metrics, and efficiently generate audio several orders of magnitude faster than their autoregressive counterparts.

研究の動機と目的

• 効率的なニューラル音声合成を、グローバルな構造と局所的な波形の一貫性を維持しつつ動機づける。
• スペクトル領域表現を用いた場合、GAN が自己回帰モデルを音声生成で上回るかを調査する。
• 音質と一貫性に対する異なる表現（対数振幅、位相、瞬時周波数、メルスケール）の影響を評価する。
• 潜在ベクトルとピッチのグローバル条件付けによる音色-ピッチ内挿を実証し、自己回帰ベースの基準より生成速度の利点を評価する。

提案手法

• 音声を STFT ベースのスペクトログラムとして、振幅・位相チャネルまたはその導関数（瞬時周波数）として表現する。
• ピッチをワンホットベクターとして、補助的なピッチ分類器損失を付加した条件付き GAN の訓練と、段階的成長と勾配ペナルティを用いて訓練する。
• 表現を比較する：対数振幅と位相、瞬時周波数、位相、ハイ周波数分解能 (+H) のバリアント、メル尺度表現の variants（IF-Mel）を含む。
• 音高整合性を促す補助分類器 GAN 設定を使用する。
• NSynth 上で WaveGAN および WaveNet のベースラインと、人間評価と自動評価指標（NDB、FID、IS、PA、PE）を用いて比較する。
• 生成速度をベンチマークし、並列・非自己回帰合成の利点を実証する。

実験結果

リサーチクエスチョン

• RQ1 GAN はスペクトル表現で訓練した場合に、知覚品質と局所的な波形の一貫性の両方を持つ音声を合成できるか。
• RQ2 対数振幅、瞬時周波数、位相の表現を取り入れることは、直接の波形生成と比較して一貫性を改善するか。
• RQ3 ピッチ条件付けは、GANベースの音声生成における音色の一貫性と知覚的内挿にどのような影響を与えるか。
• RQ4 自動回帰型 WaveNet および WaveGAN のベースラインと比較した場合の音質と生成速度の相対的な改善はどの程度か。

主な発見

• 対数振幅スペクトルと位相または瞬時周波数を用いて訓練した GAN は、直接の波形生成よりも整合性の高い波形を生成できる。
• 瞬時周波数を推定する方が、位相のみを推定するよりも音声の一貫性が高い。
• スペクトル分解能を上げ、メル尺度表現を用いると高調波を分離し品質が向上する。
• NSynth において、GAN は自動指標と人間評価の両方で強力な WaveNet ベースラインを上回り、自己回帰モデルよりも桁違いに高速な生成を実現する。
• 潜在ベクトルと音高のグローバル条件付けにより、知覚的に滑らかな音色内挿と音高間での音色アイデンティティの一貫性を実現する。