[論文レビュー] Interactive Music Generation with Positional Constraints using Anticipation-RNNs

Gaëtan Hadjeres, Frank Nielsen|arXiv (Cornell University)|Sep 19, 2017

Music and Audio Processing参考文献 13被引用数 22

ひとこと要約

この論文では、特定の時間ステップにおける特定の音符を固定するなど、ユーザーが定義した位置制約下でも、トレーニングデータのスタイル的質を保ちながら高速でインタラクティブな音楽生成を可能にする、新しいRNNアーキテクチャ「Anticipation-RNN」を紹介する。本手法は、将来の制約に基づいて確率を事前に予測・調整する能力を学習することで、O(N)回のRNNコールで制約付きサンプリングを実現し、速度を犠牲にせずにリアルタイムで音楽的に整合性のある生成を可能にする。

ABSTRACT

Recurrent Neural Networks (RNNS) are now widely used on sequence generation tasks due to their ability to learn long-range dependencies and to generate sequences of arbitrary length. However, their left-to-right generation procedure only allows a limited control from a potential user which makes them unsuitable for interactive and creative usages such as interactive music generation. This paper introduces a novel architecture called Anticipation-RNN which possesses the assets of the RNN-based generative models while allowing to enforce user-defined positional constraints. We demonstrate its efficiency on the task of generating melodies satisfying positional constraints in the style of the soprano parts of the J.S. Bach chorale harmonizations. Sampling using the Anticipation-RNN is of the same order of complexity than sampling from the traditional RNN model. This fast and interactive generation of musical sequences opens ways to devise real-time systems that could be used for creative purposes.

研究の動機と目的

• 標準RNNが過去の出来事しか条件付けられないという限界を解消し、将来の制約を条件付けられるようにすること。
• ユーザーが特定の時間位置で正確な音符を指定できるリアルタイムでユーザーがガイドする音楽生成を可能にすること。
• 繰り返しサンプリングに高コストがかかるのを避けながら、RNNの生成的品質を維持したまま硬い位置制約を許容する手法を開発すること。
• 制約付き生成がトレーニングデータ（例：バッハのコーレール）のスタイル的一貫性を保ち続けることを保証すること。
• シンボリック音楽に適応可能な、任意のRNNベースの系列モデルに適用可能な汎用フレームワークを提供すること。

提案手法

• Anticipation-RNNアーキテクチャは、標準RNNを変更し、過去の系列を処理するパスと、将来の制約を符号化するパスの二重パス機構を導入する。
• 将来の制約に基づいて隠れ状態を条件づけるための学習可能なアテンションに類似したメカニズムを用い、生成中に制約の影響を後向きに伝搬可能にする。
• 標準の自己回帰尤度に加え、制約付き分布と非制約付き分布の一致を促進する正則化項を含む、変更された損失関数を用いてエンドツーエンドで訓練する。
• 推論時には、各時刻ステップで過去用と制約を考慮した状態用の2回のRNN前向き伝搬のみを実行する左から右への生成を実施する。
• Kullback-Leiblerダイバージェンスおよびその変種を用いて、制約付き分布と非制約付き分布の乖離を定量化・制御する。
• 本手法は任意のRNNベースの系列モデルに一般化可能であり、バッハのコーレールのような多声音楽のトレーニングにも適用可能である。

実験結果

リサーチクエスチョン

• RQ1 RNNベースの音楽生成モデルは、ユーザーが特定の時間位置で特定の音符を固定できるようにすることで、インタラクティブにできるか？
• RQ2 このような制約付き生成は、遅いMCMCサンプリングに頼らずに効率的に実現できるか？
• RQ3 位置制約を適用することで、生成系列のスタイル的質が劣化するか？
• RQ4 左から右への生成中に、将来の制約に基づいて確率分布を事前に予測・調整できるか？
• RQ5 制約付き生成プロセスはスケーラブルであり、リアルタイムのクリエイティブ応用に適しているか？

主な発見

• 10,000個の生成シーケンスすべてで、ユーザーが定義した位置制約が100%に達成された。
• 制約付きシーケンスの確率分布が非制約付き分布に比例していることが確認された。p_constrainedとp_unconstrainedの対数対数プロットがほぼ直線的であり、R² ≈ 0.99であった。
• 制約付き分布と非制約付き分布のダイバージェンスは、特に逆Kullback-Leiblerダイバージェンスにおいて、制約点で急激にピークに達しており、効果的な制約伝搬が確認された。
• 長さNのシーケンスに対して2N回のRNNコールで済むため、標準RNNサンプリングと同等の効率性を達成し、リアルタイム利用に適している。
• 生成メロディがバッハのコーレールとメロディックなコントゥールと和声的構造の両面で類似しており、スタイルの整合性が保たれていることが裏付けられた。
• 本手法は一般化性に優れており、アーキテクチャの大幅な見直しを要せず、任意のRNNベースの系列モデルに適用可能である。