[論文レビュー] MELONS: generating melody with long-term structure using transformers and structure graph

Yi Zou, Pei Zou+4 more|arXiv (Cornell University)|Oct 11, 2021

Music and Audio Processing被引用数 7

ひとこと要約

MELONSは、8種類のバー単位の構造グラフを用いて長期的な音楽的整合性をモデル化するトランスフォーマー基盤のメロディ生成フレームワークである。構造生成とメロディ生成を分離することで、アノテート済みの構造データを必要とせず、高品質で構造的に整合性のあるフルソングメロディを生成でき、主観的評価において先行手法を上回った。

ABSTRACT

The creation of long melody sequences requires effective expression of coherent musical structure. However, there is no clear representation of musical structure. Recent works on music generation have suggested various approaches to deal with the structural information of music, but generating a full-song melody with clear long-term structure remains a challenge. In this paper, we propose MELONS, a melody generation framework based on a graph representation of music structure which consists of eight types of bar-level relations. MELONS adopts a multi-step generation method with transformer-based networks by factoring melody generation into two sub-problems: structure generation and structure conditional melody generation. Experimental results show that MELONS can produce structured melodies with high quality and rich contents.

研究の動機と目的

• 長く整合性のあるメロディを明確な音楽的構造で生成する課題に対処すること。
• 単純な繰り返しや順序を超えた包括的かつデータ駆動型の音楽的構造表現を開発すること。
• 構造的条件付けを用いてアノテーションフリーで柔軟な長さのメロディ生成を可能にすること。
• 生成プロセスに階層的な構造的関係を統合することで、メロディの質を向上させること。

提案手法

• MELONSは、8種類のバー単位の関係（繰り返し、移調、ピッチ進行、リズム的順序、メロディ進行、周囲進行、調性の終止、休息）を用いて音楽的構造をモデル化する。
• フレームワークは二段階の生成プロセスを採用している：まず構造グラフを生成し、その後そのグラフに条件付けられたメロディを生成する。
• 構造生成およびメロディ生成の両方でトランスフォーマー基盤のネットワークを採用しており、長距離依存性のモデル化が可能である。
• 構造グラフはデータから学習され、関係はピッチ、リズム、調性の類似度メトリクスによって定義される。
• モデルは柔軟なメロディ長をサポートし、トレーニングに並列アノテート済みデータを必要としない。
• 評価には自動指標（関係正解率）とプロの音楽家を対象とした主観的聴取テストの両方を用いている。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型の多関係構造グラフは、メロディにおける長期的音楽的整合性を効果的に表現できるか？
• RQ2 学習された構造グラフに条件付けたメロディ生成は、音楽的質の向上と構造の明確さの向上をもたらすか？
• RQ3 MELONSは、PopMNet や CP-Transformer のような先行手法に比べ、構造的で高品質なメロディを生成できるか？
• RQ4 アノテート済みの構造データを一切必要としない状況で、モデルはどの程度構造的に正確なメロディを生成できるか？

主な発見

• MELONSは主観的評価において、全体の質の指標で平均満足度スコア（MOS）3.20を達成し、CP-Transformer（2.13）および PopMNet（2.17）を顕著に上回った。
• リズム的順序関係を有するバーの生成正解率は92.88%に達し、全関係タイプの中で最高となった。
• 移調関係が最も困難であり、正解率は77.33%にとどまり、トーン変換のモデル化の改善の余地があることが示された。
• 実際の構造グラフを用いたMELONS-R（MELONS-R）は、全体の質で3.22のスコアを記録し、人間が作成したメロディ（4.39）との性能差は最小限にとどまり、構造予測の高品質さが裏付けられた。
• 8関係の構造グラフを全般に使用したことで、PopMNetの基本的な2関係セットよりも顕著に性能向上が確認され、より洗練された構造表現の価値が裏付けられた。
• t検定の結果、MELONSは全評価指標ですべてのベースラインを有意に上回った（p < 1e-6）、これによりその有効性が検証された。