[論文レビュー] Music Generation Using an LSTM

Michael Conner, Lucas Gral+4 more|arXiv (Cornell University)|Mar 23, 2022

Music and Audio Processing被引用数 7

ひとこと要約

本論文では、学習された時間的依存関係を考慮して連続する音符を予測するための、音楽生成を目的とした長短期記憶（LSTM）再帰的ニューラルネットワークを提案する。著者らは音楽データ上でLSTMベースのモデルを実装および評価し、一貫性がありリズム的に整合した音楽的シーケンスの生成が可能であることを示した。主な貢献は、アーキテクチャ設計、トレーニング戦略、および音楽生成におけるシーケンス生成の課題の分析にあった。

ABSTRACT

Over the past several years, deep learning for sequence modeling has grown in popularity. To achieve this goal, LSTM network structures have proven to be very useful for making predictions for the next output in a series. For instance, a smartphone predicting the next word of a text message could use an LSTM. We sought to demonstrate an approach of music generation using Recurrent Neural Networks (RNN). More specifically, a Long Short-Term Memory (LSTM) neural network. Generating music is a notoriously complicated task, whether handmade or generated, as there are a myriad of components involved. Taking this into account, we provide a brief synopsis of the intuition, theory, and application of LSTMs in music generation, develop and present the network we found to best achieve this goal, identify and address issues and challenges faced, and include potential future improvements for our network.

研究の動機と目的

• LSTMを用いた構造的で一貫性のある音楽的シーケンス生成の可能性を検討すること。
• 音楽的制約（音高、持続時間、リズムなど）を考慮した、音楽生成に特化したLSTMベースのアーキテクチャの設計および実装。
• RNNのトレーニングにおける主な課題、特に消失勾配と長期依存関係のモデル化の影響を特定および解決すること。
• 生成された音楽の質と構造的一致性を評価すること。
• 生成音楽の表現力と多様性を向上させるための今後の改善策を提案すること。

提案手法

• 著者らは、音楽データ内の順序的依存関係をモデル化するためにスタックドLSTMアーキテクチャを採用し、複数層を用いて長距離パターンを捉える。
• 入力データは、音符と休符を表す音楽的イベント（音高、持続時間、velocity）のトークン化されたシーケンスに事前処理される。
• モデルは、次のトークンを予測する目的でクロスエントロピー損失を用いてトレーニングされ、トレーニング中は教師強制（teacher forcing）が適用される。
• 推論時には、ランダム性と多様性を制御するための温度サンプリング戦略が採用される。
• 収束を改善するために、Adam最適化アルゴリズムを用い、学習率スケジューリングを適用する。
• 評価には、生成音楽の定性的分析と、損失およびパープレキシティといった定量的指標が含まれる。

実験結果

リサーチクエスチョン

• RQ1 LSTMは、一貫性があり音楽的に妥当なシーケンスを生成するために、音楽の順序的構造を効果的にモデル化できるか？
• RQ2 どのようなアーキテクチャ的およびトレーニング的選択が、生成音楽の質と一貫性を最大化するか？
• RQ3 消失勾配や長期依存関係のモデル化といった課題が、LSTMによる音楽生成にどのように影響を与えるか？
• RQ4 温度サンプリングは、生成出力における新規性と音楽的一致性のバランスをどのように果たすか？
• RQ5 現在のLSTMベースの音楽生成における限界は何か。それらはどのように克服できるか？

主な発見

• LSTMモデルは、構造的・調性的に妥当な、連続的でリズム的に整合性のある音楽的シーケンスを効果的に生成した。
• スタックドLSTM層の使用は、音楽的シーケンスにおける長期依存関係を学習する能力を顕著に向上させた。
• 推論時の温度サンプリングにより、出力の変動を制御可能となり、安定的かつ創造的な生成が可能になった。
• クロスエントロピー損失と教師強制を用いたトレーニングにより、検証データ上で迅速な収束と低いパープレキシティが達成された。
• モデルは入力シーケンス長に対して頑健であり、生成サンプルにおける多様な音楽的スタイルでも一貫性を維持した。
• 強力な性能を示したが、繰り返しや一貫性のないフレーズが偶発的に生成される場合があり、複雑な音楽的フレージングを捉える能力に限界があることが示された。