[論文レビュー] Convolutional Generative Adversarial Networks with Binary Neurons for Polyphonic Music Generation

Hao‐Wen Dong, Yi‐Hsuan Yang|arXiv (Cornell University)|Apr 25, 2018

Music and Audio Processing被引用数 35

ひとこと要約

本稿では、後処理を回避するため、二段階の畳み込み生成対抗ネットワーク（GAN）を提案し、バイナリニューロンを用いてポリフォニック音楽のバイナリ値ピアノロールを直接生成する。決定論的バイナリニューロンを用いてリファイナーネットワークを訓練することで、ハードスレッショルドやベルヌーイサンプリングに比べ、音楽の質が向上し、ノート断片化が軽減される。主観的評価でも、確率的バイナリゼーションよりも決定論的バイナリゼーションが好まれた。

ABSTRACT

It has been shown recently that deep convolutional generative adversarial networks (GANs) can learn to generate music in the form of piano-rolls, which represent music by binary-valued time-pitch matrices. However, existing models can only generate real-valued piano-rolls and require further post-processing, such as hard thresholding (HT) or Bernoulli sampling (BS), to obtain the final binary-valued results. In this paper, we study whether we can have a convolutional GAN model that directly creates binary-valued piano-rolls by using binary neurons. Specifically, we propose to append to the generator an additional refiner network, which uses binary neurons at the output layer. The whole network is trained in two stages. Firstly, the generator and the discriminator are pretrained. Then, the refiner network is trained along with the discriminator to learn to binarize the real-valued piano-rolls the pretrained generator creates. Experimental results show that using binary neurons instead of HT or BS indeed leads to better results in a number of objective measures. Moreover, deterministic binary neurons perform better than stochastic ones in both objective measures and a subjective test. The source code, training data and audio examples of the generated results can be found at https://salu133445.github.io/bmusegan/ .

研究の動機と目的

• 既存のGANが実数値ピアノロールを生成し、バイナリ出力を得るために後処理を必要としているという制限に対処すること。
• 生成器の出力層にバイナリニューロンを用いることで、より高品質で音楽的に整合性のとれたポリフォニック音楽を生成できるかどうかを調査すること。
• 客観的指標と主観的評価の観点から、決定論的と確率的バイナリニューロンの比較を行うこと。
• 生成器と識別器の事前学習後にリファイナーネットワークを学習する二段階学習戦略の有効性を評価すること。
• マルチストリームで共有／プライベートな識別器設計が、トラック間の調性とノート品質に与える影響を調査すること。

提案手法

• 二段階の学習プロセスを採用：まず、実際のピアノロール上で生成器と識別器を事前学習し、その後、識別器とともにリファイナーネットワークを微調整する。
• リファイナーネットワークは、出力層に決定論的または確率的バイナリニューロンを用い、実数値の生成器出力を直接バイナリ値ピアノロールに変換する。
• リファイナーネットワークは敵対的損失を最小化するとともに、出力がバイナリ化されることを保証するよう訓練され、結果的にバイナリゼーションを学習プロセスに統合する。
• 訓練の安定化と特徴量学習の向上を図るため、リファイナーネットワークに残差ブロックアーキテクチャを採用する。
• 識別器は、トラック間の調和性とオンセット／オーダーのパターンを両方モデル化するため、共有およびプライベートブランチを備えたマルチストリーム設計を採用する。
• 生成器とリファイナーネットワークが現実的で整合性のあるピアノロール出力を得るよう、敵対的損失と再構成損失の組み合わせを用いる。

実験結果

リサーチクエスチョン

• RQ1 バイナリニューロンを用いたGANモデルは、ハードスレッショルドやベルヌーイサンプリングなどの後処理を必要とせずに、直接バイナリ値ピアノロールを生成できるか？
• RQ2 決定論的バイナリニューロンを用いることで、確率的バイナリニューロンや従来の後処理手法に比べ、客観的指標および主観的音楽品質が向上するか？
• RQ3 二段階学習戦略は、統合的またはエンドツーエンド学習に比べ、音楽の質と安定性において優れているか？
• RQ4 マルチストリームで共有／プライベートな識別器設計は、トラック間の調和性とノートの一貫性にどのような影響を与えるか？
• RQ5 学習中にバイナリニューロンを統合することで、音楽的に関連する特徴に注目した識別器が、実際の音楽と生成された音楽を区別する能力を向上させられるか？

主な発見

• 決定論的バイナリニューロンを用いたモデルは、合格ノート率（QN）0.81およびポリフォニー度（PP）0.68を達成し、ベースライン手法を著しく上回った。
• 決定論的バイナリニューロンの使用によりノート断片化が軽減され、QNが0.81で、ユーザー調査では44％の参加者がより良いノート連続性を評価した。
• 二段階学習戦略は、統合的およびエンドツーエンド学習を上回り、統合的戦略では10,000ステップ目以降にQNが低下した。
• 提案されたマルチストリーム識別器設計により、トラック間の調和性が向上し、アブレーション-IIモデルと比較して総合時間（TD）指標が12％低減した。
• ユーザー調査では、84％の参加者が確率的バージョンよりも決定論的バイナリニューロンモデルを好んだ。特に、断片化の少ないノートが評価された。
• 決定論的バイナリニューロンを用いたモデルは、訓練の全期間にわたりQNとPPの向上を維持したが、確率的バージョンは不安定で低いパフォーマンスを示した。