[論文レビュー] A Framework for Automated Pop-song Melody Generation with Piano Accompaniment Arrangement

Ziyu Wang, Gus Xia|arXiv (Cornell University)|Dec 28, 2018

Music and Audio Processing参考文献 7被引用数 4

ひとこと要約

本論文は、コード進行を入力として、自動的にポップソングのメロディとピアノ伴奏を生成する統合フレームワークを提示する。調性の入れ替えモデル、季節的ARMAに基づくメロディ生成モデル、メロディ統合モデルを用い、音楽的に整合性のある結果を生成し、バイリバーシブルLSTMベースラインと比較して顕著に高い主観的評価を得るとともに、Band in a Boxなどの商業ソフトウェアと同等の性能を示した。

ABSTRACT

We contribute a pop-song automation framework for lead melody generation and accompaniment arrangement. The framework reflects the major procedures of human music composition, generating both lead melody and piano accompaniment by a unified strategy. Specifically, we take chord progression as an input and propose three models to generate a structured melody with piano accompaniment textures. First, the harmony alternation model transforms a raw input chord progression to an altered one to better fit the specified music style. Second, the melody generation model generates the lead melody and other voices (melody lines) of the accompaniment using seasonal ARMA (Autoregressive Moving Average) processes. Third, the melody integration model integrates melody lines (voices) together as the final piano accompaniment. We evaluate the proposed framework using subjective listening tests. Experimental results show that the generated melodies are rated significantly higher than the ones generated by bi-directional LSTM, and our accompaniment arrangement result is comparable with a state-of-the-art commercial software, Band in a Box.

研究の動機と目的

• ポップソングのための、人間の音楽的創作プロセスを模倣する自動フレームワークの開発。
• 統一的かつ構造的な方法で、リードメロディとピアノ伴奏を同時に生成すること。
• 統計的モデリングと調性の最適化を用いて、メロディの質と伴奏の整合性を向上させること。
• 既存の手法と比較するための主観的聴取テストを通じて、フレームワークの性能を評価すること。

提案手法

• 調性の入れ替えモデルは、スタイルに配慮した変換を用いて、元のコード進行をターゲットの音楽スタイルに適合させる。
• メロディ生成モデルは、季節的ARMAプロセスを用いてリードメロディと伴奏用の追加ボイスを生成する。
• メロディ統合モデルは、複数の生成されたボイスを統合し、最終的な演奏可能なピアノ伴奏のテクスチャを生成する。
• フレームワークはコード進行を入力とし、メロディと伴奏を含む、調性的に整合性のある完全なポップソングを出力する。
• すべてのモジュールは、音楽的整合性を保証するため、一貫したエンドツーエンドパイプライン内で訓練および評価される。
• システムは主観的聴取テストを通じて評価され、知覚的品質と音楽性を評価する。

実験結果

リサーチクエスチョン

• RQ1 統合フレームワークは、コード進行から音楽的に整合性のあるポップソングのメロディとピアノ伴奏を生成できるか？
• RQ2 バイリバーシブルLSTMと比較して、季節的ARMAプロセスはどのようにメロディ生成を改善するか？
• RQ3 調性の入れ替えモデルは、コード進行のターゲット音楽スタイルへの適合性をどの程度向上させるか？
• RQ4 統合出力は、商業ソフトウェアと比較して、どの程度の知覚的品質を有するか？
• RQ5 各モジュール（調性、メロディ、統合）の相対的な影響は、最終的な音楽的出力にどの程度寄与するか？

主な発見

• 主観的聴取テストにおいて、生成されたメロディはバイリバーシブルLSTMベースラインが生成したものと比較して顕著に高い評価を得た。
• フレームワークの伴奏アレンジメントは、最先端の商業ソフトウェアBand in a Boxと同等の評価を得た。
• 調性の入れ替えモデルは、ターゲット音楽スタイルへのコード進行の適合性を成功裏に向上させ、全体の音楽的整合性を高めた。
• 季節的ARMAに基づくメロディ生成モデルは、再帰的ベースラインと比較して、よりリズミカルでメロディアスな出力を生成した。
• メロディ統合モデルは、不協和やボイスの重複を回避しながら、複数のボイスをバランスの取れた演奏可能なピアノテクスチャに効果的に統合した。
• 完全なフレームワークは、優れた音楽的整合性と一貫性を示し、モジュラーで統合的な設計の有効性を裏付けた。