[論文レビュー] SurpriseNet: Melody Harmonization Conditioning on User-controlled Surprise Contours

Yi-Wei Chen, Hung-Shin Lee+2 more|arXiv (Cornell University)|Aug 1, 2021

Music and Audio Processing参考文献 33被引用数 5

ひとこと要約

SurpriseNet は、マルコフ連鎖遷移確率から導かれるユーザー定義のサプライズコントゥールを条件として、調性の和音進行を生成する条件付き変分オートエンコーダー（CVAE）である。与えられたサプライズコントゥールと生成されたサプライズコントゥールの間で強い一致が達成されている（スピアマンのρ = 0.517、p < 0.001）、これにより、拡張された和音空間（633種類）を用いて、ユーザー制御可能で多様かつ音楽的に整合性のあるメロディーの和音化が可能になった。

ABSTRACT

The surprisingness of a song is an essential and seemingly subjective factor in determining whether the listener likes it. With the help of information theory, it can be described as the transition probability of a music sequence modeled as a Markov chain. In this study, we introduce the concept of deriving entropy variations over time, so that the surprise contour of each chord sequence can be extracted. Based on this, we propose a user-controllable framework that uses a conditional variational autoencoder (CVAE) to harmonize the melody based on the given chord surprise indication. Through explicit conditions, the model can randomly generate various and harmonic chord progressions for a melody, and the Spearman's correlation and p-value significance show that the resulting chord progressions match the given surprise contour quite well. The vanilla CVAE model was evaluated in a basic melody harmonization task (no surprise control) in terms of six objective metrics. The results of experiments on the Hooktheory Lead Sheet Dataset show that our model achieves performance comparable to the state-of-the-art melody harmonization model.

研究の動機と目的

• ユーザーが主観的な音楽的要素（例：サプライズ）を組み込むことで、メロディーの和音化をユーザー制御可能にすること。
• 情報理論を用いて、特に1次マルコフ連鎖における遷移確率の負の対数を用いて、時間的に変化するサプライズコントゥールとして音楽的サプライズをモデル化すること。
• メロディーとユーザーが指定したサプライズコントゥールの両方に条件付けられた、表現的な和音進行を生成するための条件付きVAEフレームワークを開発すること。
• 標準的なメジャー・マイナー・メジャー・セブンスなどに加え、拡張和音（例：7th, 9th, 11th, 13th）やスラッシュコードを含む、より広い和音空間を拡張することで、和音の多様性を高めること。
• 生成された和音進行がメロディーとの調和性とユーザーが定義したサプライズダイナミクスの両方を満たす能力を評価すること。

提案手法

• 1次マルコフ連鎖における和音列の遷移確率の負の対数として音楽的サプライズをモデル化し、時間的に変化するサプライズコントゥールを生成する。
• メロディーとサプライズコントゥールの両方に条件付けられた条件付き変分オートエンコーダー（CVAE）を用い、和音進行の潜在表現を学習する。
• 再パラメータライゼーションを用いてエンドツーエンド最適化を可能にするために、メロディー、サプライズコントゥール、潜在変数を連結したものを用いて和音列を再構築することでモデルを学習する。
• 推論段階では、潜在空間における標準正規分布の事前分布からサンプリングを行い、メロディーとサプライズコントゥールに条件付けた状態で、多様で整合性のある和音進行を生成する。
• Hooktheory リードシートデータセットに含まれるすべての和音タイプ（拡張和音・変化和音を含む）を統合することで、和音語彙を96種類から633種類に拡張する。
• 変種モデル（重み付きSurpriseNet）ではクラス重み付き損失を適用して多様性を促進したが、標準SurpriseNetと比較してコントゥールの忠実度が低下した。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、ユーザーが指定したサプライズコントゥールに一致させつつ、メロディーと調和的である和音進行を効果的に学習できるか？
• RQ2 生成されたサプライズダイナミクスとユーザーが提供したサプライズコントゥールとの相関はどの程度高く、この一致を最もよく捉える指標は何か？
• RQ3 拡張和音・変化和音を含む和音空間を拡大することで、生成された進行の表現力と多様性が向上し、調和的品質を損なわずに済むか？
• RQ4 損失関数にクラス重みを組み込むことで、モデルのサプライズコントゥールへの追従能力と、希少または複雑な和音の生成能力にどのような影響があるか？
• RQ5 CVAEベースのフレームワークは、ユーザー制御（サプライズコントゥール）と音楽的整合性（メロディーとの適合性）の両立を、自動メロディー和音化において成功裏に実現できるか？

主な発見

• SurpriseNet は、ユーザー定義のサプライズコントゥールと生成された和音進行におけるサプライズダイナミクスの間で、スピアマンの相関係数 ρ = 0.517（p < 0.001）を達成し、強い一致が確認された。
• ヴァリアントCVAEモデルは、6つの客観的指標において、[3]の最先端のメロディー和音化モデルと同等の性能を示し、生成品質の妥当性が裏付けられた。
• 重み付きSurpriseNet は相関係数が低く（ρ = 0.406）、複雑または希少な和音を過剰に使用する傾向を示しており、クラス重み付けがコントゥールの忠実度を損なう可能性があることが示された。
• 生成された和音進行は、常にサプライズコントゥールの時間的構造に従っており、期待されるパターン（例：曲の中央部でサプライズのピーク）に一致する和音変更頻度の変化が明確に観察された。
• モデルは、通常、逆正規、シグモイド型など、さまざまなタイプのサプライズコントゥールに対しても、多様で調和的でリズム的に整合性のある進行を成功裏に生成した。
• 拡張された和音空間（633種類）により、7th, 9th, 11th, 13th, スラッシュコードを含む、豊かで表現力に富んだ進行の生成が可能となり、音楽的表現力が向上した。