[論文レビュー] Controllable deep melody generation via hierarchical music structure representation

Shuqi Dai, Zeyu Jin+2 more|arXiv (Cornell University)|Sep 2, 2021

Music and Audio Processing参考文献 33被引用数 13

ひとこと要約

本論文では、セクション／フレーズ構造、基本メロディ、リズム、コード制約に分解することで、制御可能で長尺なメロディ生成を可能にする階層的音楽構造表現「MusicFrameworks」を提案する。リズムとメロディ生成にそれぞれ別個のトランスフォーマー基盤のネットワークを用い、その後にこれらの要素を条件として自己回帰的に精練するアプローチをとることで、聴取テストにおいて50％の割合で人間の水準に達する音楽的完成度を達成し、構造的・モジュラーな生成により高い制御性とサンプル効率を示した。

ABSTRACT

Recent advances in deep learning have expanded possibilities to generate music, but generating a customizable full piece of music with consistent long-term structure remains a challenge. This paper introduces MusicFrameworks, a hierarchical music structure representation and a multi-step generative process to create a full-length melody guided by long-term repetitive structure, chord, melodic contour, and rhythm constraints. We first organize the full melody with section and phrase-level structure. To generate melody in each phrase, we generate rhythm and basic melody using two separate transformer-based networks, and then generate the melody conditioned on the basic melody, rhythm and chords in an auto-regressive manner. By factoring music generation into sub-problems, our approach allows simpler models and requires less data. To customize or add variety, one can alter chords, basic melody, and rhythm structure in the music frameworks, letting our networks generate the melody accordingly. Additionally, we introduce new features to encode musical positional information, rhythm patterns, and melodic contours based on musical domain knowledge. A listening test reveals that melodies generated by our method are rated as good as or better than human-composed music in the POP909 dataset about half the time.

研究の動機と目的

• 既存のディープラーニング音楽生成モデルの主な限界である、一貫性のある繰り返しと形式を有する長期的構造的メロディ生成の課題に取り組む。
• セクション、フレーズ、メロディックなコントゥール、リズムパターンといった高レベル構造のユーザー操作を可能にすることで、音楽生成における制御性を向上させる。
• リズム、基本メロディ、完全なメロディといったサブ問題に音楽生成を分解することで、モジュラーかつ階層的な表現を用い、データ要件とモデルの複雑さを低減する。
• 位置符号化、コントゥールモデリング、リズムパターンといった音楽的インダクティブバイアスをディープラーニングモデルに統合し、サンプル効率と音楽的完成度を向上させる。
• 客観的指標と大規模な主観的聴取テストを用いて、人間が作曲した音楽と比較して、音楽的品質と実用性を評価する。

提案手法

• 音楽を複数のレベル（グローバルなセクション、フレーズレベルの構造、局所的なリズム的／メロディックな形式）でモデル化する階層的音楽構造表現「MusicFrameworks」を導入する。
• メロディ生成を3段階に分解する：(1) トランスフォーマー基盤のネットワークを用いて基本リズムを生成する。 (2) もう一つのトランスフォーマーを用いて基本メロディを生成する。 (3) コード、基本メロディ、リズムを条件として自己回帰的に完全なメロディを生成する。
• 音楽的インダクティブバイアスをニューラルネットワークに組み込むために、音楽的位置、メロディックコントゥール、リズムパターンのドメイン固有の特徴符号化を設計する。
• 2段階の訓練プロセスを採用する：まず基本リズムおよび基本メロディネットワークを独立して訓練し、その後に真値の構造入力を用いて完全なメロディネットワークをファインチューニングする。
• ユーザーが任意のレベル（例：コード進行の変更、コントゥールの変更、リズム形式の変更）で音楽フレームワークを編集可能にし、モデルがそれに応じて新しいメロディを生成できるようにする。
• 既存の人間作曲音楽から音楽フレームワークを抽出する解析アルゴリズムを適用し、スタイルの模倣とデータ効率の良い訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 階層的音楽構造表現は、ディープラーニングで生成されたメロディの一貫性と長期的整合性を向上させ得るか？
• RQ2 ユーザーが音楽フレームワーク（例：コード進行の変更、コントゥール、リズム）を操作することで、意味的かつ音楽的に妥当なメロディの変化を実現できるか、その程度はいかほどか？
• RQ3 モジュラーかつ構造に配慮した生成アプローチは、エンドツーエンド生成と比較して、データ要件を低減しつつも音楽的完成度を維持または向上させ得るか？
• RQ4 聴取テストにおいて、MusicFrameworksで生成されたメロディの音楽的完成度は、人間が作曲した音楽と比べてどの程度か？
• RQ5 制限された学習データでモデル性能を向上させるために、音楽固有のインダクティブバイアス（例：コントゥール、リズムパターン）は果たす役割は何か？

主な発見

• 聴取テストにおいて、MusicFrameworksを用いて生成されたメロディは、約50％の比較で人間が作曲した音楽と同等またはそれ以上の評価を受けており、高い音楽的完成度と実用性を示している。
• 基本メロディおよびリズム生成ステップを省略したベースラインモデルと比較して、本手法は顕著に優れており、好みのテストでこれらのフレームワークが使われた場合に高い評価を得ていた。
• 生成された基本メロディおよびリズムを条件としたメロディは、人間が作曲したものと同等の評価を受けており、モデルが現実的で音楽的に整合性のある表現を学習していることを示している。
• 一部の比較（例：0 vs 1）では人間が作曲した音楽に統計的に有意な好みが示されたが、全体としての性能は、MusicFrameworksが高品質で人間と同等の結果を生成できることを示唆している。
• 聴取者から、サンプリングアーティファクトや繰り返しのノートが音楽的完成度を低下させる場合があると指摘されたが、これらの問題は比較的まれであり、全体的な評価に大きな影響を及げていなかった。
• 本手法は、階層的表現によって長期的な構造的一致性が達成可能であることを示しており、繰り返しのフレーズが同じフレームワークを共有し、音楽的に整合性のある変化を生成できることを裏付けた。