[論文レビュー] AccoMontage: Accompaniment Arrangement via Phrase Selection and Style Transfer

Jingwei Zhao, Gus Xia|arXiv (Cornell University)|Aug 25, 2021

Topic Modeling参考文献 29被引用数 4

ひとこと要約

AccoMontage は、動的計画法によるフレーズ検索とニューラルスタイル変換を組み合わせることで、リードシートに一致する参照フレーズを選択・整列させるハイブリッド手法を提案する。この手法は、フルサイズの民謡／ポップス楽曲において、一貫性、構造、音楽的完成度の面で最先端の性能を達成し、学習ベースおよびテンプレートベースのベースラインを顕著に上回る。

ABSTRACT

Accompaniment arrangement is a difficult music generation task involving intertwined constraints of melody, harmony, texture, and music structure. Existing models are not yet able to capture all these constraints effectively, especially for long-term music generation. To address this problem, we propose AccoMontage, an accompaniment arrangement system for whole pieces of music through unifying phrase selection and neural style transfer. We focus on generating piano accompaniments for folk/pop songs based on a lead sheet (i.e., melody with chord progression). Specifically, AccoMontage first retrieves phrase montages from a database while recombining them structurally using dynamic programming. Second, chords of the retrieved phrases are manipulated to match the lead sheet via style transfer. Lastly, the system offers controls over the generation process. In contrast to pure learning-based approaches, AccoMontage introduces a novel hybrid pathway, in which rule-based optimization and deep learning are both leveraged to complement each other for high-quality generation. Experiments show that our model generates well-structured accompaniment with delicate texture, significantly outperforming the baselines.

研究の動機と目的

• 長期間にわたる構造的整合性のある伴奏を生成する現行のディープラーニングモデルの限界を解決すること。
• 新規に生成するのではなく、既存の音楽的リファレンスを活用することで、メロディーと伴奏の調和およびテクスチャーの一貫性を向上させること。
• リズム密度やボイス数といったユーザー定義のテクスチャー特徴量を用いて、制御可能な音楽生成を可能にすること。
• ルールベースのフレーズ検索とディープラーニングベースのスタイル変換を統合し、生成品質を向上させること。
• 人間の作曲実践を模倣したハイブリッド最適化と生成パイプラインとして、伴奏編曲をモデル化すること。

提案手法

• フレーズ選択は、ノードが候補フレーズを表し、エッジが遷移を表すグラフ最適化問題としてモデル化され、ノードスコアはルールベースの適合度、エッジスコアは対照的学習により学習される。
• 動的計画法を用いて、選択されたフレーズを、リードシートの構造的制約を尊重する一貫性のあるシーケンスに再結合する。
• ニューラルスタイル変換によるコード操作により、取得したフレーズの和音的コンテンツをクエリリードシートのコード進行に一致させる。
• システムはコード・テクスチャー分離を採用し、再ハーモナイズの過程で和音的およびテクスチャ的特徴量を独立して制御可能にする。
• 隣接するフレーズ間のスムーズな遷移を確保するため、リズム密度とボイス数の差を最小化する対照的損失を適用する。
• ユーザーは、リズム密度とボイス数という2つの制御可能なテクスチャー特徴量を事前に用いて候補フレーズをフィルタリングでき、ユーザー主導の生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 テンプレートベースの検索とニューラルスタイル変換を組み合わせたハイブリッド手法は、純粋な学習ベース手法に比べ、より一貫性があり構造的整合性の高い伴奏を生成できるか？
• RQ2 動的計画法を用いたフレーズ検索は、フル楽曲において長期間にわたる音楽的構造をどれほど効果的に保持できるか？
• RQ3 スタイル変換は、リファレンスフレーズと指定されたリードシートとの間で、和音的およびテクスチャ的適合度をどの程度向上できるか？
• RQ4 リズム密度やボイス数といったユーザー制御可能な特徴量は、生成伴奏の制御性と品質を向上させられるか？
• RQ5 提案手法は、客観的指標および主観的ヒューリスティック評価の両面で、既存のベースラインを上回っているか？

主な発見

• 主観的評価において、72名の被験者が5段階スケールで生成伴奏を評価した結果、AccoMontage は両方のベースラインモデルを有意に上回った（一貫性：p < 0.05、構造：p < 0.05）。
• モデルは一貫性について平均4.3点、構造について4.2点を獲得し、メロディーとの強い調和および構造的整合性を示した。
• 対照的損失は、ランダムなペアから同じ楽曲内のペア、隣接フレーズペアへと至るに従い、一貫した減少傾向を示し、スムーズな遷移の検出が信頼性を持って行われていることを裏付けた。
• フレーズ正確性のランキング正答率（Rank@50）は0.2425、楽曲正確性は0.3769であり、候補プールから正しい隣接フレーズを効果的に選択できていることを示した。
• 音楽的完成度においてはわずかに優れた性能（p = 0.053）を示し、統計的有意性に達しなかったものの、全体的な音楽的質の高さを示唆した。
• 結果から、ルールベースのフレーズ検索とディープラーニングベースのスタイル変換を統合することで、高品質で制御可能かつ長期的な伴奏生成が可能になることが確認された。