[論文レビュー] GANs & Reels: Creating Irish Music using a Generative Adversarial Network.

Antonina Kolokolova, Mitchell Billard+6 more|arXiv (Cornell University)|Oct 29, 2020

Music Technology and Sound Studies参考文献 20被引用数 7

ひとこと要約

本稿では、再帰的成分を含まない、畳み込み型の敵対的生成ネットワーク（DCGAN）を提案する。このモデルは、拡張畳み込みとマルチスケールタワーを用いて、固定長のアイリッシュ伝統リールを再帰的要素なしで生成する。メロディを2次元空間的表現に変換することで、長距離の音楽的依存関係と全体的な構造を捉え、RNNベースラインと比較して、フレーズ類似度、ノート分布、t-SNEクラスタリングの観点で訓練データに類似したサンプルを生成する。

ABSTRACT

In this paper we present a method for algorithmic melody generation using a generative adversarial network without recurrent components. Music generation has been successfully done using recurrent neural networks, where the model learns sequence information that can help create authentic sounding melodies. Here, we use DC-GAN architecture with dilated convolutions and towers to capture sequential information as spatial image information, and learn long-range dependencies in fixed-length melody forms such as Irish traditional reel.

研究の動機と目的

• アイリッシュリールのような構造的で固定長のメロディを生成する再帰的でないディープラーニングモデルの開発。
• 再帰的コンponentsを排除し、音楽の空間的2次元表現を用いて長距離依存関係をよりよく捉える。
• 拡張畳み込みとマルチスケールタワーを備えたDCGANが、RNNベースのメロディ生成と比較して構造的整合性と音楽的真正性において同等またはそれを上回ることを評価すること。
• 本モデルが、フレーズの繰り返し、変奏、トニック中心のノート分布といったグローバルな音楽的構造を学習・再現できるかを評価すること。

提案手法

• 水平軸がシーケンスを、垂直軸がフレーズの時間的整合性を表す2次元空間的表現にモノフォニックメロディを変換する。
• 複数の意味的スケール（例：小節やフレーズの長さ）にわたる長距離依存関係を捉えるために、拡張畳み込みを用いた深層畳み込みGAN（DCGAN）アーキテクチャを用いる。
• 局所的なノートパターンとグローバルな構造的関係の両方をモデル化するため、マルチスケールタワーと拡張畳み込みを備えたディスクライマーを実装する。
• 生成されたサンプル、訓練データ、ベースラインモデルのサンプル間のフレーチェ距離を正規化し、構造的類似度を定量的に比較する。
• t-SNE可視化を用い、パープレキシティ=50で、生成されたチューンの分布が訓練データおよびRNNベースラインとどれほど類似しているかを比較する。
• MIDIキー値におけるノート周波数分布を分析し、トニック中心の適合性とスケール適合性を評価する。

実験結果

リサーチクエスチョン

• RQ1 再帰的CNNベースのGANは、再帰的コンponentsを含まずに、アイリッシュリールのような構造的で固定長のメロディを効果的に生成できるか？
• RQ2 ディスクライマーにおける拡張畳み込みとマルチスケールタワーの使用が、RNNと比較して長距離の音楽的依存関係をどれほど効果的に捉えられるか？
• RQ3 生成されたメロディが、フレーズの繰り返し（AABB形式）、トニック強調、キー中心のノート分布といったグローバル構造的特徴をどの程度保持しているか？
• RQ4 フレーチェ距離とt-SNE可視化を用いて、生成されたサンプルが訓練データおよびRNNベースラインと比較して、分布的にどの程度類似しているか？

主な発見

• 提案されたDCGANモデルは、フレーズ間の正規化されたフレーチェ距離が訓練データおよびFolk-RNNベースラインと密接に一致しており、構造的忠実性が優れていることを示している。
• t-SNE可視化では、DCGANが生成したチューンの75％以上が訓練データの分布内に位置しており、高い分布類似性を示している。
• 本モデルは、トニック（DメジャーにおけるD）とスケールの3度目・5度目が最も頻出するキー中心のノート分布を効果的に再現しており、音楽理論と訓練データと一致している。
• マグネータモデルとは異なり、ノート周波数分布がより一様ではなく、DCGANおよびFolk-RNNモデルはDメジャーにおける期待されるトニック階層に一致した分布を生成している。
• AABBフレーズ構造（繰り返しパート）への傾向が強く、フレーズ3–4間のフレーチェ距離が低く、フレーズ1–3間の距離が高いため、構造的一致性が確認された。
• より小さなモデルであるにもかかわらず、局所的なノートパターンとグローバルな構造的関係の両方を、RNNベースラインと同等またはそれ以上の性能で捉えている。