[論文レビュー] Chord Generation from Symbolic Melody Using BLSTM Networks.

Hyungui Lim, Seungyeon Rhyu+1 more|arXiv (Cornell University)|Oct 23, 2017

Music and Audio Processing被引用数 11

ひとこと要約

本稿では、1小節あたり12半音の特徴ベクトルの時間的依存性をモデル化することで、記号的単音メロディからコード進行を生成する双方向LSTM（BLSTM）ネットワークを提案する。この手法は、HMMおよびDNN-HMMベースラインと比較して、それぞれ23.8%および11.4%の性能向上を達成しており、ユーザーによる評価でも生成された進行が好まれることが確認された。

ABSTRACT

Generating a chord progression from a monophonic melody is a challenging problem because a chord progression requires a series of layered notes played simultaneously. This paper presents a novel method of generating chord sequences from a symbolic melody using bidirectional long short-term memory (BLSTM) networks trained on a lead sheet database. To this end, a group of feature vectors composed of 12 semitones is extracted from the notes in each bar of monophonic melodies. In order to ensure that the data shares uniform key and duration characteristics, the key and the time signatures of the vectors are normalized. The BLSTM networks then learn from the data to incorporate the temporal dependencies to produce a chord progression. Both quantitative and qualitative evaluations are conducted by comparing the proposed method with the conventional HMM and DNN-HMM based approaches. Proposed model achieves 23.8% and 11.4% performance increase from the other models, respectively. User studies further confirm that the chord sequences generated by the proposed method are preferred by listeners.

研究の動機と目的

• 単音メロディから一貫性のあるコード進行を生成する課題に取り組むこと。これは、同時に複数の音を重ねる必要がある。
• メロディデータ内の時間的依存性をモデル化し、音楽的に妥当なコード列を生成すること。
• 深層学習を用いて従来のHMMおよびDNN-HMMアプローチを改善すること。
• 特徴ベクトルの正規化により、トレーニングデータ全体でキーと演奏時間の均一性を保証すること。

提案手法

• 単音メロディの各小節から12半音からなる特徴ベクトルを抽出し、ピッチコンテンツを表現する。
• 各特徴ベクトルのキーと拍子を正規化し、データセット全体で一貫した調性とリズム的特徴を確保する。
• 正規化されたメロディデータ内の順序的依存関係を学習するため、双方向LSTM（BLSTM）ネットワークを訓練する。
• リードシートデータベースを用いてBLSTMモデルを訓練し、メロディからコード進行へのマッピングを学習する。
• 双方向アーキテクチャを活用して、メロディの過去と未来の文脈を捉え、より良いコード予測を実現する。
• 時間的モデリングを適用し、入力メロディのリズム的・和声的構造と整合するコード列を生成する。

実験結果

リサーチクエスチョン

• RQ1 BLSTMネットワークは、単音メロディ内の時間的依存性を効果的にモデル化し、音楽的に整合性のあるコード進行を生成できるか？
• RQ2 提案されたBLSTMベースの手法は、従来のHMMおよびDNN-HMMアプローチと比較して、コード生成においてどの程度優れているか？
• RQ3 聴衆は、BLSTMモデルが生成したコード進行を、ベースライン手法のそれよりもどの程度好むか？
• RQ4 キーと拍子の正規化は、コード生成の整合性と質を向上させるか？

主な発見

• 提案されたBLSTMモデルは、従来のHMMベースのアプローチと比較して、コード生成の正確性で23.8%の向上を達成した。
• DNN-HMMベースラインと比較して11.4%の性能向上を示し、順序的依存関係のモデル化が優れていることが示された。
• ユーザーによる評価では、BLSTMモデルが生成したコード列が、ベースライン手法のそれよりも聴衆に好まれることが確認された。
• キーと拍子の正規化により、より一貫性があり、和声的に整合性のあるコード進行が得られた。
• BLSTMモデルは、メロディ内の長距離時間的依存関係を効果的に捉え、より音楽的に妥当なコード列を生成できた。
• この手法は、入力メロディのリズム的・和声的構造と整合性の高いコード進行を成功裏に生成した。