[論文レビュー] A Hierarchical Recurrent Neural Network for Symbolic Melody Generation

Jian Wu, Changran Hu+3 more|arXiv (Cornell University)|Dec 14, 2017

Music and Audio Processing参考文献 21被引用数 10

ひとこと要約

本論文は、粗いスケールから細かいスケールへと段階的に音楽を生成する、階層的再帰的ニューラルネットワーク（HRNN）を提案する。3段階のスタックされた長短期記憶（LSTM）ネットワーク（バー、ビート、ノート層）を用い、音楽生成を段階的に行う。人間評価において、単層LSTMや最先端モデル（MusicVAE や MidiNet）を上回る性能を示し、HRNN-3Lは MusicVAE に対して72.6%、MidiNet に対して77.9%の選好率を達成した。

ABSTRACT

In recent years, neural networks have been used to generate symbolic melodies. However, the long-term structure in the melody has posed great difficulty for designing a good model. In this paper, we present a hierarchical recurrent neural network for melody generation, which consists of three Long-Short-Term-Memory (LSTM) subnetworks working in a coarse-to-fine manner along time. Specifically, the three subnetworks generate bar profiles, beat profiles and notes in turn, and the output of the high-level subnetworks are fed into the low-level subnetworks, serving as guidance for generating the finer time-scale melody components in low-level subnetworks. Two human behavior experiments demonstrate the advantage of this structure over the single-layer LSTM which attempts to learn all hidden structures in melodies. Compared with the state-of-the-art models MidiNet and MusicVAE, the hierarchical recurrent neural network produces better melodies evaluated by humans.

研究の動機と目的

• 長期間の構造的依存関係をモデル化する課題に取り組む。
• 複数の時間スケール（バー、ビート、ノート）でリズム構造を明示的にモデル化することで、メロディ生成の質を向上させる。
• 上位レベルのリズムプロファイルに条件づけることで、長期間にわたるノートレベルの依存関係を学習する難易度を軽減する。
• 階層的モデリングが、単層RNN や最先端モデルと比較して、より音楽的に整合的で人間が好むメロディを生成するかどうかを評価する。
• 階層的設計が、現実的な長期間構造を持つメロディを生成する上で果たす影響を調査する。

提案手法

• モデルは3段階の階層的LSTMアーキテクチャを採用：バー・レベル、ビート・レベル、ノート・レベルのサブネットワーク。
• バー・レベルLSTMがバー・プロファイルを生成し、それがビート・レベルLSTMがビート・プロファイルを生成するのを導く。
• ノート・レベルLSTMが、バー・プロファイルおよびビート・プロファイルに条件づけて個々のノートを生成し、構造的一致性を確保する。
• 各上位レベルのネットワークが、次の下位レベルのネットワークに文脈的条件付けを提供することで、粗いスケールから細かいスケールへの生成が可能になる。
• モデルは、1バーあたり16ステップの量子化時間刻みと4/4時間 signatures を用いて、記号的音楽データ上でエンド・ツー・エンドに訓練される。
• 人間評価は2AFC（2選択強制選択）テストを用い、生成されたメロディをベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 単層RNNと比較して、階層的RNNアーキテクチャは長期間の音楽的構造をよりよくモデル化できるか？
• RQ2 バー・レベルおよびビート・レベルのリズムプロファイルに条件づけてノート・レベルの生成を行うことで、メロディの質と整合性が向上するか？
• RQ3 本研究で提案するHRNNは、MusicVAE や MidiNet といった最先端モデルと比較して、人間の好みにおいてどのように評価されるか？
• RQ4 HRNNは、音楽テューリング・テストにおいて、人間が作曲した楽曲と区別がつかないメロディをどの程度生成できるか？
• RQ5 データの制限（例：時間 signatures やリズム符号化）が、モデルの性能と一般化能力にどのような影響を与えるか？

主な発見

• HRNN-3Lは、同じデータセットで訓練されたMusicVAE に対して72.6%の選好率を示し（p = 1.41×10⁻²¹）、統計的に有意な人間の好みを示した。
• 事前学習済みMusicVAE に対しては63.5%の選好率を示し（p = 5.82×10⁻⁹）、人間評価において一貫した優位性を示した。
• 2AFC比較においてMidiNetに対して77.9%の選好率を達成した（p = 1.85×10⁻²¹）、最先端アーキテクチャと比較して強い性能を示した。
• 人間評価の結果、HRNNはより整合性のあるリズムと構造を持つメロディを生成したことが裏付けられ、MusicVAEの出力に見られる混沌としたノートパターンが減少していた。
• 音楽テューリング・テストでは、HRNNが生成したメロディのうち33.69%しか人間が作曲したと誤認されず、強力な性能を示したものの、改善の余地があることを示した。
• 本研究では、データセットの質がモデル性能に顕著に影響することを発見した。人間が作曲した楽曲のうち74.95%しか正しく人間製と分類できず、モデルの一般化能力に制限があった。