[論文レビュー] Conditional WaveGAN

Chae Young Lee, Anoop Toffy+2 more|arXiv (Cornell University)|Sep 27, 2018

Music and Audio Processing参考文献 6被引用数 3

ひとこと要約

この論文は、クラスラベルを条件として用いる、生成対抗ネットワークであるConditional WaveGAN（cWaveGAN）を紹介している。cWaveGANは、連結ベースの条件付けと条件付きスケーリングの条件付け手法を用いて、現実的な生の音声波形を合成する。モデルは、非条件WaveGANに比べて改善されたサンプル品質を達成し、人間が認識可能な音声を生成するが、訓練の不安定性とノイズは依然として課題である。

ABSTRACT

Generative models are successfully used for image synthesis in the recent years. But when it comes to other modalities like audio, text etc little progress has been made. Recent works focus on generating audio from a generative model in an unsupervised setting. We explore the possibility of using generative models conditioned on class labels. Concatenation based conditioning and conditional scaling were explored in this work with various hyper-parameter tuning methods. In this paper we introduce Conditional WaveGANs (cWaveGAN). Find our implementation at https://github.com/acheketa/cwavegan

研究の動機と目的

• 生の音声合成のための非条件WaveGANを、クラスラベルを条件とした生成フレームワークに拡張すること。
• 連結ベースの条件付けと条件付きスケーリングの条件付け手法の有効性を、音声生成の制御において検証すること。
• 異なる条件付け戦略下での生成音声サンプルの品質と一貫性を評価すること。
• ハイパーパramータチューニングと損失関数最適化を通じて、生成音声における訓練の不安定性とノイズを軽減すること。
• 合成音声を下流の識別モデルの学習データとして使用する可能性を検討すること。

提案手法

• 生成器と識別器の両方にクラスラベルを連結することで、WaveGANアーキテクチャを拡張し、クラスラベルを入力として取り入れる。
• ラベル埋め込みを用いて生成器の特徴マップを変調することで、条件付きスケーリングを実装する。
• 勾配ペナルティを用いたWGAN-GP損失を用いて、訓練の安定性を向上させる。
• 生成器と識別器の両ネットワークにバッチ正則化とReLU/LeakyReLU活性化関数を適用する。
• 潜在ベクトルをフル長さの音声波形にアップサンプリングするために、逆1次元畳み込みを生成器に適用する。
• 4台のNVIDIA Tesla V100 GPUと1台のTPUv2を用いてトレーニングを行い、バッチサイズはそれぞれ64および1024とする。

実験結果

リサーチクエスチョン

• RQ1 クラスラベルを条件として用いることで、条件付きWaveGANは高精細で人間が認識可能な音声波形を生成できるか？
• RQ2 連結と条件付きスケーリングという異なる条件付けメカニズムは、音声品質と訓練の安定性にどのように影響を与えるか？
• RQ3 学習率、バッチサイズ、最適化手法といったハイパーパramータの設定で、最も安定した訓練と最高のサンプル品質が得られるのはどの組み合わせか？
• RQ4 cWaveGANから生成された音声を、識別モデルの学習データとして使用できる範囲はどの程度か？
• RQ5 生の音声生成のための条件付きGANの訓練における主な課題は何か。また、それらはどのように軽減できるか？

主な発見

• 条件付きWaveGANは、クラスラベルを条件として用いることで、人間が認識可能な生の音声波形を効果的に生成し、制御された音声合成の可能性を示した。
• 非条件WaveGANに比べて、より優れたサンプル品質を達成しており、聞き取り可能な会話音声や楽器音が再現された。
• 訓練の不安定性とノイズの多い出力が頻繁に観察され、特に初期訓練段階で顕著であった。
• 勾配ペナルティを用いたWGAN-GPは、標準的なGAN目的関数に比べて訓練の安定性を向上させた。
• ハイパーパramータチューニング、特に学習率の調整が、識別器損失のスパイクを低減し、生成器の性能を向上させる上で重要であった。
• 条件付きスケーリングと連結ベースの条件付けの両方とも妥当な結果をもたらしたが、実験間で条件付けの一貫性にばらつきが見られた。