[論文レビュー] dMelodies: A Music Dataset for Disentanglement Learning

Ashis Pati, Siddharth Gururani+1 more|arXiv (Cornell University)|Jul 29, 2020

Music and Audio Processing参考文献 42被引用数 4

ひとこと要約

本論文は、9つの分離可能な潜在的要因（順序、カテゴリカル、バイナリー）を有する130万件の2小節のモノフォニックメロディから成る大規模な記号的音楽データセットdMelodiesを紹介する。このデータセットは、音楽分野における分離性学習のベンチマークを可能にし、dSpritesのような画像データセットで有効な手法が音楽データでは著しく性能を発揮しないことが明らかになった。これはドメイン固有の課題を示しており、音楽固有の分離性学習研究の必要性を強調する。

ABSTRACT

Representation learning focused on disentangling the underlying factors of variation in given data has become an important area of research in machine learning. However, most of the studies in this area have relied on datasets from the computer vision domain and thus, have not been readily extended to music. In this paper, we present a new symbolic music dataset that will help researchers working on disentanglement problems demonstrate the efficacy of their algorithms on diverse domains. This will also provide a means for evaluating algorithms specifically designed for music. To this end, we create a dataset comprising of 2-bar monophonic melodies where each melody is the result of a unique combination of nine latent factors that span ordinal, categorical, and binary types. The dataset is large enough (approx. 1.3 million data points) to train and test deep networks for disentanglement learning. In addition, we present benchmarking experiments using popular unsupervised disentanglement algorithms on this dataset and compare the results with those obtained on an image-based dataset.

研究の動機と目的

• 音楽分野における分離性学習のための標準的で多様なデータセットの不足に応えること。現在の多くは画像ベースのベンチマークに依存している。
• 音楽の代表的表現学習における再現可能性を高めるために、明確に定義され、独立した潜在的要因を有する体系的な音楽データセットを構築すること。
• 音楽データに対する分離性学習アルゴリズムの評価を可能にし、コンピュータビジョン分野を超えた一般化性能を検証すること。
• dMelodiesとdSpritesの両方のデータセットを用いたベンチマークを通じて、画像ベースと音楽ベースの分離性学習手法の性能差を調査すること。
• 音楽生成や分析タスクに特化した半教師ありおよび教師ありの分離性学習手法の今後の研究を促進すること。

提案手法

• ピッチクラス、オクターブ、ディレイレーション、リズム、アーティキュレーション、ダイナミクス、キー、時間 signatures、アルペジオーション方向という9つの潜在的要因が独立するように、アルゴリズム的ルールを用いて2小節のモノフォニックメロディの記号的音楽データセットを生成する。
• 順序（例：ディレイレーション）、カテゴリカル（例：キー）、バイナリー（例：アルペジオーション方向）といった多様な要因タイプを含むデータセットを設計し、包括的な分離性評価を可能にする。
• 約130万件のユニークなデータポイントを有するデータセットを構築し、分離性学習に用いられる深層ニューラルネットワークの学習にスケーラブルであるようにする。
• β-VAE、FactorVAE、および残差接続を備えたβ-VAEといった一般的な非教師あり分離性学習モデルを、dMelodiesとdSpritesの両方で適用し、比較的ベンチマークを実施する。
• 相互情報ギャップ（MIG）や再構成損失といった指標を用いて、両データセットにおける分離性の質とモデルの忠実度を評価する。
• 各要因ごとの分離性性能分析を実施し、リズムやピッチといった要因が、アルペジオーション方向といった他の要因よりも容易に分離可能であるかを特定する。

実験結果

リサーチクエスチョン

• RQ1 画像データで学習された最先端の非教師あり分離性学習アルゴリズムが、記号的音楽データに一般化できる程度はどの程度か？
• RQ2 分離性と再構成の観点から、画像ベース（dSprites）と音楽ベース（dMelodies）のデータセットにおける分離性学習モデルの性能はどのように異なるか？
• RQ3 現在の深層生成モデルを用いた場合、音楽的要因（例：ピッチ、リズム、ダイナミクス）の中で、どの要因が分離性に最も適しているか？
• RQ4 ハイパーパrameterチューニングは、画像ドメインと比較して音楽ドメインにおける分離性性能と再構成忠実度にどの程度感度が高いか？
• RQ5 要因タイプ（カテゴリカル、順序、バイナリー）および効果のスパarsity（例：アルペジオーションがメロディの一部にのみ影響する）が、分離性性能に果たす役割は何か？

主な発見

• dSpritesのような画像ベースのデータセットで優れた性能を示す分離性学習手法は、dMelodies音楽データセットでは著しく性能が低下しており、ドメイン間での一般化が不十分であることが示された。
• ハイパーパrameterチューニングは、dMelodies（音楽）において再構成と分離性性能に強く影響するが、dSprites（画像）では再構成がハイパーパrameterの設定にかかわらず安定している。
• β-VAEモデルはdMelodiesで最高の再構成精度を達成しており、リズムとオクターブ要因が最も良好な分離性を示している。一方、アルペジオーション方向は最も悪い性能を示しており、そのバイナリー性が要因と考えられる。
• 要因ごとのMIG分析から、連続的かつ構造的な要因（例：ピッチ、ディレイレーション）は、バイナリーまたは局所的に影響を与える要因（例：アルペジオーション方向）よりも容易に分離可能であることが明らかになった。
• dSpritesとdMelodiesの性能差は、データ規模の違いに起因するものではない。両者とも約130万件のサンプルを有するが、ドメイン間でアーキテクチャ的またはインダクティブバイアスの不一致が生じていると考えられる。
• 本研究の結果は、現在の非教師ありアプローチが視覚分野から音楽分野に直接転送できないことから、音楽分野に特化した分離性学習手法の開発の必要性を強調している。