[論文レビュー] Automatic Melody Harmonization with Triad Chords: A Comparative Study

Yin-Cheng Yeh, Wen-Yi Hsiao+8 more|arXiv (Cornell University)|Jan 8, 2020

Music and Audio Processing参考文献 44被引用数 7

ひとこと要約

本論文は、テンプレートマッチングやHMM、遺伝的アルゴリズム、深層学習に至るまでの標準的なメロディー協和手法を、新たに収集された9,226組のメロディ/コードペアからなるデータセットを用いて比較評価する。研究では、特に機能的協和を組み込んだ深層学習モデルが、客観的指標および主観的評価の両面で非深層学習手法を上回ることを明らかにした。

ABSTRACT

Several prior works have proposed various methods for the task of automatic melody harmonization, in which a model aims to generate a sequence of chords to serve as the harmonic accompaniment of a given multiple-bar melody sequence. In this paper, we present a comparative study evaluating and comparing the performance of a set of canonical approaches to this task, including a template matching based model, a hidden Markov based model, a genetic algorithm based model, and two deep learning based models. The evaluation is conducted on a dataset of 9,226 melody/chord pairs we newly collect for this study, considering up to 48 triad chords, using a standardized training/test split. We report the result of an objective evaluation using six different metrics and a subjective study with 202 participants.

研究の動機と目的

• 従来の統計的モデルと深層学習アプローチを含む、標準的なメロディー協和手法の性能を評価・比較すること。
• 標準化されたベンチマークのための、新たに収集した9,226組のメロディ/コードペアからなるデータセットを収集・公開すること。
• 202名の参加者による大規模な主観的ユーザースタディを用いて、モデルの性能を客観的指標と併せて評価すること。
• 異なるモデルアーキテクチャーや音楽理論（例：機能的協和）の組み込みが、協和品質に与える影響を調査すること。
• モデルアーキテクチャと音楽知識統合の分離を図ることで、今後の研究の基盤を提供すること。

提案手法

• 本研究では、テンプレートマッチング、隠れマルコフモデル（HMM）、遺伝的アルゴリズム（GA）、双方向LSTM（BiLSTM）、および機能的協和に配慮した深層学習モデルの5つのモデルを実装・評価した。
• 新規に収集した9,226組の記号的音楽ペアを用いた標準化された80/20の訓練/テスト分割を、すべてのモデルに適用した。
• 協和進行の質を評価するために6つの客観的指標を用いた。これには、協和性、ボイスレーディング、コード音と非コード音の比率が含まれる。
• 202名の参加者を対象とした主観的評価では、ペairワイズ比較を通じて、音楽的質および快適さの感知度を評価した。
• 機能的協和に配慮したモデルは、入力表現としてコード機能（例：トニック、ドミニント）を組み込むことで、音楽的整合性を向上させた。
• すべてのモデルが同一条件で評価されたため、公平な比較が可能となった。コードラベルは一貫性を保つために、マジョルトライアド/マイナートライアドに簡略化された。

実験結果

リサーチクエスチョン

• RQ1 従来の統計的モデル（例：HMM、テンプレートマッチング）は、現代の深層学習モデルと比較して、メロディー協和品質においてどのように差が現れるか？
• RQ2 機能的協和知識を深層学習モデルに組み込むことで、協和品質の向上にどの程度寄与するか？
• RQ3 客観的指標と人間の認識の間には、協和品質の評価においてどの程度相関があるか？
• RQ4 絶対的スコア付けと比較して、ペアワイズの主観的評価は、人間の評価におけるバイアスをどの程度低減できるか？
• RQ5 異なるモデルアーキテクチャは、音楽的に妥当なコード進行を生成するにあたり、それぞれどのような相対的強みと限界を有するか？

主な発見

• 特に機能的協和を組み込んだBiLSTMベースのモデルが、すべての客観的指標および主観的評価において最高のパフォーマンスを示した。
• 機能的協和に配慮したモデルは、協和性および音楽的関心の観点で、他の深層学習および非深層学習モデルを上回った。
• 主観的評価では、人間が作曲した進行と組み合わせた場合にモデル出力がより快適に感じられたが、ペアワイズ比較においても、機能的協和モデルが全体で最高順位を記録した。
• テンプレートマッチングおよびHMMベースのモデルは、妥当な性能を示したが、客観的および主観的評価の両方で、常に深層学習アプローチに劣った。
• 遺伝的アルゴリズムベースのモデルは中程度のパフォーマンスを示し、進化的な探索戦略が妥当な進行を生成できることを示唆したが、ニューラルネットワークの一般化能力には及ばなかった。
• 本研究では、音楽的理論的知識（例：機能的協和）を組み込むことで、モデルのパフォーマンスが顕著に向上することが確認された。特に、音楽的に整合性のある進行を生成する場面で顕著であった。