[論文レビュー] MusPy: A Toolkit for Symbolic Music Generation

Hao‐Wen Dong, Ke Chen+2 more|arXiv (Cornell University)|Aug 5, 2020

Music and Audio Processing参考文献 33被引用数 23

ひとこと要約

MusPy は、データ入出力、前処理、データセット管理、モデル評価を簡素化するオープンソースの Python ツールキットである。このツールキットは、クロスデータセット一般化性分析を可能にし、LMD のような大規模で多様なデータセットで学習したモデルがより良い一般化性能を示すことが明らかになった。また、異種のデータセットを組み合わせることで、モデルの頑健性とドメイン間一般化性能が向上することが示された。

ABSTRACT

In this paper, we present MusPy, an open source Python library for symbolic music generation. MusPy provides easy-to-use tools for essential components in a music generation system, including dataset management, data I/O, data preprocessing and model evaluation. In order to showcase its potential, we present statistical analysis of the eleven datasets currently supported by MusPy. Moreover, we conduct a cross-dataset generalizability experiment by training an autoregressive model on each dataset and measuring held-out likelihood on the others---a process which is made easier by MusPy's dataset management system. The results provide a map of domain overlap between various commonly used datasets and show that some datasets contain more representative cross-genre samples than others. Along with the dataset analysis, these results might serve as a guide for choosing datasets in future research. Source code and documentation are available at https://github.com/salu133445/muspy .

研究の動機と目的

• データハンドリングと評価の標準化を図る統一的かつ拡張可能なツールキットの欠如に対処すること。
• 多様な音楽データセット、フォーマット、表現形式のための一貫したインターフェースを提供することで、再現可能で効率的な研究を可能にすること。
• 11 個の一般的に使用される記号的音楽データセット間の統計的・構造的差異を分析すること。
• 音楽生成モデルのクロスデータセット一般化性能を評価し、データセット選択を支援すること。
• 異種のデータセットを組み合わせることで、モデルの一般化性能が向上するかどうかを調査すること。

提案手法

• MusPy は、複数のフォーマットで記号的音楽を表現するための中心的な 'Music' オブジェクトを提供し、低レベルのデータ表現を抽象化する。
• MIDI、MusicXML、ABC など、さまざまなフォーマットの 11 データセットの I/O をサポートし、自動ダウンロードとパースを実装する。
• 音楽生成のための標準化された前処理パイプラインと評価指標（周囲度とアライメントベースの指標を含む）を備える。
• クロスデータセット一般化性能は、あるデータセットで自己回帰モデル（例：LSTM）を学習し、他のデータセットでテストすることで評価し、保留された尤度を測定する。
• データセットを組み合わせる際には、クラスの不均衡を軽減し、一般化性能を向上させるためにストラティファイドサンプリングを適用する。
• 持続時間、ジャンル、多音性などのデータセット特性の統計的分析により、多様性と構造的性質を比較する。

実験結果

リサーチクエスチョン

• RQ1 一般的に使用される記号的音楽データセットの統計的特性（持続時間、ジャンル、多音性、ノート分布など）には、どのような差異があるか？
• RQ2 あるデータセットで学習したモデルが、他のデータセットにどの程度一般化できるか。また、その一般化性能に影響を与える要因は何か？
• RQ3 複数の異種データセットを組み合わせることで、音楽生成モデルの一般化性能が向上するか？
• RQ4 ジャンルや構造的多様性に優れたデータセットは、なぜより良い事前学習ソースとして機能するのか？
• RQ5 データセットのサイズと表現形式（モノフォニック vs. マルチピッチ）は、モデルの周囲度と一般化性能にどのように影響するか？

主な発見

• LMD（Lakh MIDI Dataset）は、その大規模さとジャンルの多様性のおかげで、最も優れたクロスデータセット一般化性能を示した。
• マルチピッチデータセットで学習したモデルはモノフォニックデータセットにもうまく一般化するが、逆は成立しない。これは、表現の複雑さに階層があることを示唆している。
• JSBach Chorale Dataset は、固定の 16 分音符解像度と均一なノート持続時間分布のため、他のデータセットへの一般化性能が著しく低い。
• NES Music Database は一般化の大きな挑戦をもたらし、大多数のモデルが高い周囲度を示した。これは、ゲーム音楽特有の特徴があるためと考えられる。
• 11 個すべてのデータセットを組み合わせることで、大多数のターゲットで一般化性能が向上し、ストラティファイドサンプリングにより、大きなデータセットに偏るバイアスが軽減され、小さなデータセットの周囲度も低下した。
• モノフォニックおよびマルチピッチの両グループにおいて、周囲度はデータセットサイズと正の相関関係にあり、より大規模で多様なデータセットはモデル化がより困難であることが示された。