[論文レビュー] Polyphonic Music Composition with LSTM Neural Networks and Reinforcement Learning

Harish Kumar, Balaraman Ravindran|arXiv (Cornell University)|Feb 5, 2019

Music and Audio Processing参考文献 21被引用数 6

ひとこと要約

この論文では、ポリフォニック音楽を単音のストリームに分解するための新しいマルチストリーム表現を用いた音楽作曲システムAmadeusを提案する。これにより、LSTMに基づくシーケンスモデリングが効率的に行える。強化学習を用いて事前に学習された音楽的「プラン」（重みではなく）の最適な組み合わせを選択することで、調性が豊かでリズム的に一貫性があり、質的に顕著に向上した作品が得られる。ランダムなプラン選択に比べて著しい質的改善が達成された。

ABSTRACT

In the domain of algorithmic music composition, machine learning-driven systems eliminate the need for carefully hand-crafting rules for composition. In particular, the capability of recurrent neural networks to learn complex temporal patterns lends itself well to the musical domain. Promising results have been observed across a number of recent attempts at music composition using deep RNNs. These approaches generally aim at first training neural networks to reproduce subsequences drawn from existing songs. Subsequently, they are used to compose music either at the audio sample-level or at the note-level. We designed a representation that divides polyphonic music into a small number of monophonic streams. This representation greatly reduces the complexity of the problem and eliminates an exponential number of probably poor compositions. On top of our LSTM neural network that learnt musical sequences in this representation, we built an RL agent that learnt to find combinations of songs whose joint dominance produced pleasant compositions. We present Amadeus, an algorithmic music composition system that composes music that consists of intricate melodies, basic chords, and even occasional contrapuntal sequences.

研究の動機と目的

• ポリフォニック音楽生成の複雑さに対処するため、それを扱いやすい単音ストリームに分解すること。
• 指数的になされる多くの低品質な出力を回避するため、構造化されたプラン空間を活用して、可能な作品の探索空間を縮小すること。
• ネットワーク重みを直接変更する代わりに、高レベルの設定（プラン）の選択に強化学習を用いることで、音楽的作曲の質を向上させること。
• 調性、対位法、リズム、トーンの一貫性を備えた音楽的に整合性のある作品を生成すること。
• 強化学習が、聴覚的に快適で構造的に多様な作品を生成するためのプランの選択を効果的に導けるかどうかを実証すること。

提案手法

• システムはポリフォニック音楽を少数の単音ストリームとして表現し、スパarsityを低減し、学習問題を単純化する。
• LSTMニューラルネットワークをこれらの単音シーケンス上で学習させ、ピッチと持続時間の時間的パターンを学習する。
• 報酬関数が音楽的質を評価する基準として用いられ、強化学習エージェントが事前に学習済みの「プラン」（音楽的モチーフやフレーズを表す）の組み合わせを選択する。
• 関数近似を用いたQ学習アルゴリズムが方策ネットワークの学習に用いられ、ハイパーパrameterはグリッドサーチで最適化される。
• 報酬関数は、ピッチエントロピー、休符分布、繰り返しノートセット、相互相関ピークといった属性を評価し、エージェントが快適な作品へと導かれるようにする。
• プラン空間を知的かつ効果的に探索することで、支配的な音楽的インパクトを組み合わせることで、多様かつ整合性のある音楽的作品を生成可能となる。

実験結果

リサーチクエスチョン

• RQ1 ポリフォニック音楽のマルチストリーム表現は、音楽的構造を保ちつつ、シーケンスモデリングの複雑さを顕著に低減できるか？
• RQ2 強化学習を用いて、モデル重みの変更ではなく高レベルの音楽的プランの選択に適用することで、作曲の質を向上させることができるか？
• RQ3 構造化されたプラン空間の使用は、ランダムなプラン選択に比べて、より整合性があり音楽的に快適な作品を生み出すか？
• RQ4 強化学習でガイドされたLSTMベースのシステムは、調性、対位法、リズム的一致性を備えた作品をどの程度生成できるか？
• RQ5 このシステムは、主な音楽的属性において人間が作曲した作品と聴覚的に区別できない作品を生成できるか？

主な発見

• 強化学習を用いることで、良い作品の割合が顕著に向上した：RLありでは24%（報酬>5.0）が良いと評価されたが、RLなしでは12%であった。
• 同一のノートセットの繰り返しの頻度は67%低減（0.06 vs. 0.20）され、より多様なメロディックな多様性が得られた。
• 平均ピッチエントロピーはRLにより0.71から0.82に上昇し、より多様で音楽的に興味深いピッチ分布が得られた。
• 非常に短いまたは長い持続時間のノートの数は37.5%減少（0.05 vs. 0.08）し、リズム的一致性が向上した。
• 集約された休符数と休符カウントはそれぞれ43%および36%減少し、より自然なフレージングが得られた。
• リズム的整合性の指標である相互相関ピークは0.20から0.13に改善され、より良いリズム的構造と予測可能性が示された。