[論文レビュー] BandNet: A Neural Network-based, Multi-Instrument Beatles-Style MIDI Music Composition Machine

Yichao Zhou, Wei Chu+2 more|arXiv (Cornell University)|Dec 18, 2018

Music and Audio Processing参考文献 14被引用数 7

ひとこと要約

BandNet は、ビートルズ風のMIDI音楽から学習し、最小限の人的介入で複数楽器を含む、スタイル的に正確な楽曲を生成するRNNベースの音楽生成システムである。キーやコード進行の整合性、コードのタイミングの正規化、メロディックな間隔の統一といった音楽理論的制約を統合することで、聴衆による主観評価において、オリジナルのビートルズ楽曲と同程度のスタイル的類似性とプロフェッショナルな響きを持つ、構造的に整合性のある高品質な音楽を生成する。

ABSTRACT

In this paper, we propose a recurrent neural network (RNN)-based MIDI music composition machine that is able to learn musical knowledge from existing Beatles' songs and generate music in the style of the Beatles with little human intervention. In the learning stage, a sequence of stylistically uniform, multiple-channel music samples was modeled by a RNN. In the composition stage, a short clip of randomly-generated music was used as a seed for the RNN to start music score prediction. To form structured music, segments of generated music from different seeds were concatenated together. To improve the quality and structure of the generated music, we integrated music theory knowledge into the model, such as controlling the spacing of gaps in the vocal melody, normalizing the timing of chord changes, and requiring notes to be related to the song's key (C major, for example). This integration improved the quality of the generated music as verified by a professional composer. We also conducted a subjective listening test that showed our generated music was close to original music by the Beatles in terms of style similarity, professional quality, and interestingness. Generated music samples are at https://goo.gl/uaLXoB.

研究の動機と目的

• ビートルズの音楽の複雑なスタイル的特徴を捉える、自動的かつデータ駆動型の音楽生成システムを開発すること。
• ボーカル、ギター、ベース、ドラムなど、多様なポリフォニーと和声構造を有する、相互に依存する複数楽器パートをモデル化する課題に対処すること。
• 神経ネットワークフレームワークに専門家の音楽理論知識を統合することで、生成品質を向上させること。
• RNNベースの生成手法が、人的介入を最小限に抑えながらも、本物のビートルズ楽曲と区別がつかないスタイルと品質の音楽を生成できるかどうかを評価すること。
• 主観的聴取評価において、プロが作成したシードとランダムシードのどちらが音楽品質に顕著な優位性を示すかを特定すること。

提案手法

• モデルは、ビートルズの楽曲から得た複数チャンネルのMIDIデータ（ボーカル、コード、ベース）を用い、時間的離散化のために16分音符単位にノートを量子化する。
• 各楽曲は12半音のインターバルで transpose され、トレーニングデータの拡張と、すべての調で生成可能にするために利用される。
• 再帰的ニューラルネットワーク（RNN）を用いて、シーケンス内の次のノートまたはコントロールイベントを予測し、複数楽器の同時分布をモデル化する。
• 生成過程で音楽理論的制約を統合する：コード進行のタイミングを正規化し、メロディックな間隔を一貫して保ち、ノートを楽曲のキー（例：ド・ドミナント・トロニカ）に制限する。
• 生成された音楽は、複数のランダムまたはプロが作成したシードから得たクリップを連結することで構造化され、各シードは2小節の入力から6小節のセグメントを生成する。
• 温度に基づくサンプリング戦略を用いた、シーケンス・ツー・シーケンスの生成アプローチを採用し、創造性と一貫性のバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 RNNベースのモデルは、生のMIDIデータからビートルズ音楽の複雑な和声的・メロディック・リズミカルな構造を学習し再現できるか？
• RQ2 音楽理論の知識を統合することで、生成音楽の構造的・スタイル的品質はどの程度向上するか？
• RQ3 主観的評価において、ランダムシードから生成された音楽とプロが作成したシードからの音楽の品質は、どのように比較されるか？
• RQ4 スタイル、プロフェッショナルな品質、および興味深さの観点から、生成音楽は本物のビートルズ楽曲とどの程度類似しているか？
• RQ5 機械学習モデルが、盲聴テストにおいて人間が作成した音楽と区別がつかない音楽を生成できるか？

主な発見

• BandNet が生成した音楽は、ランダムシードから生成された楽曲について、平均3.08（5段階スケール）のスタイル類似度スコアを達成し、ビートルズの楽曲と強いスタイル的類似性を示した。
• BandNet が生成した音楽の平均プロフェッショナルな響きスコアは、ランダムシードで3.29、プロシードで3.16であり、人的介入を最小限に抑えながらも高い認識品質を示した。
• BandNet が生成した音楽の平均興味深さスコアは、ランダムシードで3.19、プロシードで3.13であり、聴衆が楽曲に没入し、新鮮に感じることを示した。
• 盲聴テストでは、わずか1.3％の聴衆しか、プロが作成したシードを本物のビートルズ楽曲と識別できず、効果的な一般化とデータ漏洩のない状態を示した。
• 本物のビートルズ楽曲と BandNet が生成した音楽との性能差は小さく、スタイル類似度で0.202未満、プロフェッショナルな品質と興味深さで約0.5の差にとどまり、優れた模倣能力を示した。
• 主観的評価において、プロが作成したシードを用いた場合とランダムシードを用いた場合に、品質に統計的に有意な差は認められず、モデルが専門的指導なしに高品質な音楽を生成できることを示した。