[論文レビュー] C-RNN-GAN: Continuous recurrent neural networks with adversarial training

Olof Mogren|arXiv (Cornell University)|Nov 29, 2016

Generative Adversarial Networks and Image Synthesis参考文献 9被引用数 381

ひとこと要約

この論文は、連続的な逐次データの生成対向ネットワークである C-RNN-GAN を導入し、連続トーン表現と RNN を用いてシーケンスの結合分布をモデル化する MIDI-クラシック音楽への適用を行う。

ABSTRACT

Generative adversarial networks have been proposed as a way of efficiently training deep generative neural networks. We propose a generative adversarial model that works on continuous sequential data, and apply it by training it on a collection of classical music. We conclude that it generates music that sounds better and better as the model is trained, report statistics on generated music, and let the reader judge the quality by downloading the generated songs.

研究の動機と目的

• 離散トークンではなく連続データ上で動作する逐次モデルに対する敵対的訓練の動機づけと評価。
• 連続的な音楽イベントの列を生成するエンドツーエンドの訓練可能なモデル（C-RNN-GAN）の実証。
• 協和性（ポリフォニー）、音階の一貫性、音域などの指標を用いて生成音楽の品質を評価。
• 出力の多様性と構造を評価するために、敵対的訓練と次イベント予測モデルのベースラインを比較。

提案手法

• 連続シーケンスデータをモデル化するために、LSTM ネットワークで構成された生成器 G と雙方向識別器 D を提案する。
• 各音楽イベントを実数四重組として表現する：音長、周波数、強さ、前の音からの経過時間。
• G と D の GAN 目的を以下で定義する。L_G = (1/m) ∑ log(1 - D(G(z)))、L_D = (1/m) ∑ [-log D(x) - log(1 - D(G(z))]、ここで z は一様乱入力である。
• 次イベント予測の教師あり二乗誤差損失で G を事前学習し、その後、カリキュラム並列化とミニバッチ SGD を用いた敵対的訓練へ切り替える。
• 分散を促進し訓練を安定化させる代替の生成器目的として特徴量マッチングを用いる。
• G の損失に対する閾値以下となった場合に D を凍結するなど、訓練を安定させるテクニックを組み込む。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、音楽のような完全に連続的な逐次データ（離散的トークンではない）を扱う再帰型ネットワークに効果的に適用できるか？
• RQ2 C-RNN-GAN は純粋な尤度ベースのベースラインよりも多様でポリフォニーな音楽を生成するか？
• RQ3 1つの時間ステップで複数の音を出力することはポリフォニーと音楽的多様性にどのような影響を与えるか？
• RQ4 訓練の安定化に寄与する事前学習、凍結、特徴量マッチングといった訓練安定化手法は、訓練のダイナミクスと生成音楽の品質をどのように向上させるか？

主な発見

• 敵対的訓練は生成音楽の多様性を高め、音域と強さの幅を拡大する。
• 各 LSTM セルが最大で3音を出力できるようにするとポリフォニースコアが改善される。
• 特徴量マッチングと慎重な訓練安定化は、生成音楽における構造と驚きのバランスを改善する。
• 生成音楽はベースラインより実曲に近いが、まだ人間評価による品質には達していない。
• 3音を1セルあたり出力する variant（CRNN-GAN-3）は、長い訓練後により高いポリフォニーと幅の指標を達成する。