[論文レビュー] Bach2Bach: Generating Music Using A Deep Reinforcement Learning Approach

Nikhil Kotecha|arXiv (Cornell University)|Dec 3, 2018

Music and Audio Processing参考文献 5被引用数 5

ひとこと要約

本稿では、擬似畳み込みカーネルで訓練された二軸LSTMアーキテクチャを用いた、ポリフォニック音楽を生成する深層強化学習モデル、Bach2Bachを提案する。深層Qネットワーク（DQN）を用いた強化学習により、グローバルな音楽的整合性と探索性が向上し、定量的および定性的な評価において、高品質でルールに整合した作曲が達成された。

ABSTRACT

A model of music needs to have the ability to recall past details and have a clear, coherent understanding of musical structure. Detailed in the paper is a deep reinforcement learning architecture that predicts and generates polyphonic music aligned with musical rules. The probabilistic model presented is a Bi-axial LSTM trained with a pseudo-kernel reminiscent of a convolutional kernel. To encourage exploration and impose greater global coherence on the generated music, a deep reinforcement learning approach DQN is adopted. When analyzed quantitatively and qualitatively, this approach performs well in composing polyphonic music.

研究の動機と目的

• 音楽的に整合性のあるポリフォニック音楽を生成できる深層強化学習モデルの開発を目的とする。
• ニューラル音楽生成における長期的構造的整合性の維持という課題に取り組む。
• 強化学習フレームワークを用いて音楽的ルールを生成プロセスに統合する。
• DQNの価値ベース学習を活用して、生成過程における探索性を向上させる。
• 音楽的品質および構造的整合性の両面から、モデルを定量的および定性的に評価する。

提案手法

• モデルは、音楽における時間的およびポリフォニックな依存関係を捉えるために、二軸LSTMネットワークを採用する。
• 畳み込みネットワークにインspiredされた擬似カーネルをLSTMの隠れ状態に適用し、局所的パターンのモデリングを強化する。
• 生成プロセスをガイドするために、深層Qネットワーク（DQN）強化学習が用いられ、長期的な音楽的整合性を最適化する。
• エージェントは、音楽的ルールと構造的質に基づいた形状付けられた報酬を受け取りながら、シーケンスの次の音を予測するように学習する。
• 訓練プロセスでは、声楽的進行やコード進行などの音楽的制約への準拠を促進する報酬関数が使用される。
• DQNフレームワークにおけるエpsilon-greedy戦略と経験再生を活用して、探索性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習モデルは、自己回帰的ベースラインと比較して、構造的整合性が向上したポリフォニック音楽を生成できるか？
• RQ2 DQNエージェントは、局所的ノート予測とグローバルな音楽的制約の両立をどの程度効果的に学習できるか？
• RQ3 二軸LSTMに擬似畳み込みカーネルを組み合わせることで、ポリフォニック音楽のモデリングがどの程度向上するか？
• RQ4 人間の聴衆による定性的な評価において、モデルの音楽的整合性およびルール準拠性はどの程度高いと評価されるか？
• RQ5 報酬形状付けが、生成音楽の多様性および整合性に与える影響は何か？

主な発見

• モデルは、声楽的進行やコード進行といった音楽的ルールに準拠したポリフォニック音楽を効果的に生成した。
• 定量的評価では、構造的整合性指標において、ベースラインの自己回帰的モデルを上回ることを示した。
• 定性的な評価では、生成された楽曲が音楽的に整合的で、バッハ風の作風と一貫していると評価された。
• DQNの導入により、標準的な自己回帰的生成と比較して、探索性が向上し、モード崩壊が著しく減少した。
• 二軸LSTMに擬似畳み込みカーネルを組み合わせることで、ポリフォニック音楽におけるインストゥルメント間の関係性のモデリングが向上した。
• モデルは、音楽的品質の劣化を伴わずに、長時間のシーケンスを生成する能力を示した。