[論文レビュー] MeloForm: Generating Melody with Musical Form based on Expert Systems and Neural Networks

Peiling Lu, Xu Tan+4 more|arXiv (Cornell University)|Aug 30, 2022

Music Technology and Sound Studies被引用数 4

ひとこと要約

MeloFormは、構造的作曲のためのエキスパートシステムと、メロディーの微調整にTransformerベースのニューラルネットワークを組み合わせたハイブリッドシステムであり、明確な音楽的形式制御を実現する。音楽的形式制御の正確さは97.79%に達し、ラベル付きの音楽的形式データを一切必要とせず、構造、テーマ的整合性、豊かさ、全体的な質の面で主観評価においてベースラインを0.75～0.89点上回る。

ABSTRACT

Human usually composes music by organizing elements according to the musical form to express music ideas. However, for neural network-based music generation, it is difficult to do so due to the lack of labelled data on musical form. In this paper, we develop MeloForm, a system that generates melody with musical form using expert systems and neural networks. Specifically, 1) we design an expert system to generate a melody by developing musical elements from motifs to phrases then to sections with repetitions and variations according to pre-given musical form; 2) considering the generated melody is lack of musical richness, we design a Transformer based refinement model to improve the melody without changing its musical form. MeloForm enjoys the advantages of precise musical form control by expert systems and musical richness learning via neural models. Both subjective and objective experimental evaluations demonstrate that MeloForm generates melodies with precise musical form control with 97.79% accuracy, and outperforms baseline systems in terms of subjective evaluation score by 0.75, 0.50, 0.86 and 0.89 in structure, thematic, richness and overall quality, without any labelled musical form data. Besides, MeloForm can support various kinds of forms, such as verse and chorus form, rondo form, variational form, sonata form, etc.

研究の動機と目的

• データ駆動型音楽生成における、明示的で高レベルの音楽的形式（例：ヴァース・コーラス、ソナタ形式）を有するメロディー生成の課題に取り組むこと。
• 純粋にニューラルモデルに依存する場合、繰り返しは暗黙的に学習されるが、正確な形式制御ができないという限界を克服すること。
• 正確な構造的作曲のためのエキスパートシステムと、より洗練されたメロディックな表現力を高めるためのニューラルネットワークを統合すること。
• 人間による音楽的形式のアノテーションにかかるコストを回避するため、エキスパートルールを用いて合成された完全にラベル付けされた形式データを生成することで、ラベル付きデータの必要性を排除すること。
• ループ形式、変奏形式、ソナタ形式など、多様な音楽的形式に柔軟に適応可能な、形式に依存しないメロディー生成を可能にすること。

提案手法

• エキスパートシステムが、事前に指定された音楽的形式に従い、モチーフを段階的にフレーズおよびセクションに発展させることでメロディーを生成し、繰り返しや変奏を適用する。
• Transformerベースのリファインメントモデルが、元の音楽的形式を保持しつつ、細かく分類されたリズムおよびハーモニーのパターンに条件付けられ、メロディーの豊かさを向上させる。
• リファインメント戦略はフレーズ単位で実行され、緊張感や表現を調整するために、セクションの区別を示すトークン（例：'AVGPITCH'、'SPAN'）を用いた反復的リファインメントが行われる。
• 音楽的形式データはエキスパートシステムによって合成的に生成され、訓練および評価に使用するにあたり、コストゼロで正確なラベルが得られる。
• 構造的構築法および変奏ルールの適応により、さまざまな音楽的形式（例：ソナタ形式における再現部のトランスポジション、変奏形式におけるモチーフ発展）をサポートする。
• ニューラルリファインメントモデルは、トロニティ、リズム、セクションレベルの特徴に条件付けられ、形式に整合的で音楽的に整合性のある出力を保証する。

実験結果

リサーチクエスチョン

• RQ1 エキスパートシステムとニューラルネットワークのハイブリッドアプローチは、ラベル付きデータが一切ない状況でも、明確な高レベルの音楽的形式制御を達成できるか？
• RQ2 ルールベースの構造的作曲とニューラルリファインメントの組み合わせは、メロディーの豊かさと表現力の向上にどの程度効果的か？
• RQ3 本手法は、音楽的質に関する客観的および主観的評価において、純粋にデータ駆動型モデルをどの程度上回るか？
• RQ4 本システムは、ヴァース・コーラス形式、ループ形式、変奏形式、ソナタ形式など多様な音楽的形式に一般化できるか？
• RQ5 リファインメントパイプラインのどの要素（例：リズム条件付け、反復的リファインメント、セクション区別トークン）が知覚的質の向上に最も寄与しているか？

主な発見

• MeloFormは音楽的形式制御において97.79%の正確さを達成し、ラベル付きデータが一切不要な状況でも、正確で信頼性の高い構造的生成を実現した。
• 主観評価において、MeloFormはベースラインシステムを構造、テーマ的整合性、豊かさ、全体的な質の各分野で、それぞれ0.75、0.50、0.86、0.89点上回った。
• アブレーションスタディの結果、エキスパートシステムとニューラルリファインメントの両方が不可欠であり、いずれかを削除すると顕著な性能低下が見られた。
• 細かく分類されたリズム条件付けとセクション区別トークンの導入が、知覚的質の向上に顕著に寄与していることが、好みに基づく評価で示された。
• 本システムは、ヴァース・コーラス形式、ループ形式、変奏形式、ソナタ形式など、複数の音楽的形式に成功裏に一般化し、一貫した構造的・表現的質を維持した。
• 研究者は合成メロディーデータセットとコードを公開しており、今後の音楽的形式モデリングおよび構造的生成に関する研究を促進する。