[論文レビュー] A database linking piano and orchestral MIDI scores with application to automatic projective orchestration

Léopold Crestel, Philippe Esling+2 more|arXiv (Cornell University)|Oct 19, 2018

Music and Audio Processing参考文献 18被引用数 8

ひとこと要約

本論文は、ピアノスコアからオーケストラスコアへの変換を研究するための、ペアドピアノおよびオーケストラスコアMIDIスコアから構成されるProjective Orchestral Database（POD）を紹介する。自動的プロジェクト型オーケストレーションを機械学習のタスクとして提案し、cRBMおよびFGcRBMなどのモデルを評価した。これらのモデルは中程度の精度を達成したが、クラス不均衡とスパースな出力によって制限を受けており、より良いデータ表現およびモデリング手法の必要性が浮き彫りになった。

ABSTRACT

This article introduces the Projective Orchestral Database (POD), a collection of MIDI scores composed of pairs linking piano scores to their corresponding orchestrations. To the best of our knowledge, this is the first database of its kind, which performs piano or orchestral prediction, but more importantly which tries to learn the correlations between piano and orchestral scores. Hence, we also introduce the projective orchestration task, which consists in learning how to perform the automatic orchestration of a piano score. We show how this task can be addressed using learning methods and also provide methodological guidelines in order to properly use this database.

研究の動機と目的

• ピアノスコアとそのオーケストラ編曲との間の相関関係を科学的に研究するためのリソースを構築すること。
• 機械学習応用のためのピアノスコアとオーケストラスコアを結びつけるシンボリックデータベースの不足を補うこと。
• 自動的プロジェクト型オーケストレーションというタスクを定義・評価すること。このタスクは、ピアノスコアが自動的にオーケストレートされることを意味する。
• PODデータセット上でモデルのトレーニングおよび評価のためのメソドロジカルガイドラインを提供すること。
• シンボリックデータを用いた今後のオーケストレーション、ソース分離、音楽生成分野の研究を可能にすること。

提案手法

• Projective Orchestral Database（POD）は、世界的に有名な作曲家によるピアノおよび対応するオーケストラスコアのMIDIファイルから構築された。
• ピアノおよびオーケストラスコアは、静止をトレーニングから除外するが文脈を保持する形で、バイナリ・ピアノロール表現に変換された。
• オーケストラスコアは、楽器をセクション（例：ヴァイオリン全般を1つのパートとして統合）ごとにグループ化することで簡略化され、速度値は無視され、バイナリ単位が使用された。
• 条件付き制限ボルツマンマシン（cRBM）および要因付きガウス型cRBM（FGcRBM）が、現在のピアノフレームと最近のオーケストラ履歴に基づいてオーケストラフレームを予測するようにトレーニングされた。
• トレーニング・テスト分割を用いてモデルを評価し、フレームレベルおよびイベントレベルの両方で精度を測定した。
• 評価フレームワークには、ベースラインモデルとしてランダム生成（Bernoulli(0.5)）とフレーム繰り返し（直前のフレームをコピー）が含まれる。

実験結果

リサーチクエスチョン

• RQ1 シンボリックデータをどのように構造化すれば、機械学習モデルがピアノスコアからオーケストラスコアへのマッピングを学習できるようになるか？
• RQ2 学習ベースのモデルは、ピアノスコアと過去のオーケストレーション履歴に基づいて、オーケストラフレームをどれほど正確に予測できるか？
• RQ3 なぜPODデータセットでトレーニングされたモデルは、実際に音を出すよりも静音を多く予測する傾向にあるのか？
• RQ4 スパarsityや静音の取り扱いといったデータ表現の選択が、オーケストレーションタスクにおけるモデル性能にどのように影響するか？
• RQ5 シンボリック音楽データに対するオーケストレーションモデルの信頼性あるトレーニングおよび評価を保証するためのメソドロジカルガイドラインは何か？

主な発見

• ランダムベースラインモデルは極めて低い性能を示し、オーケストレーションが単純な予測タスクではないことを確認した。
• フレームレベルの評価において、フレーム繰り返しモデルが他のすべてのモデルを上回った。これは、オーケストラスコアにおいて繰り返しの音が一般的であることを示唆している。
• フレームレベルのフレームワークにおいて、FGcRBMモデルがcRBMモデルを上回った。これは、この設定下で時間的依存性をよりよくモデル化できていることを示している。
• 驚くべきことに、イベントレベルのフレームワークではcRBMがFGcRBMをわずかに上回った。これは、イベントレベルのシーケンスにおいて繰り返しの音が頻繁に現れる可能性があるためと考えられる。
• モデルは、音がオフ（静音）である確率を極めて高い確率に学習しており、静音への強いバイアスが生じている。これは、ターゲットベクトルのスパarsityとクラス不均衡に起因すると考えられる。
• これらの制限にもかかわらず、一部のケースではモデルが一貫したフレーズを生成しており、オーケストレーションの背後にある構造がモデルによって部分的に捉えられていることが示された。