[論文レビュー] Supervised Symbolic Music Style Translation Using Synthetic Data

Ondřej Cífka, Umut Şimşekli+1 more|arXiv (Cornell University)|Jul 4, 2019

Music and Audio Processing参考文献 32被引用数 12

ひとこと要約

本論文は、実世界の対応データセットが不足している問題を補うために合成データを用い、最初の完全な教師ありニューラルモデルを提案する。同一楽曲を複数のスタイルで生成することで無制限のペairedデータを生成し、ターゲットスタイル埋め込みに条件づけられたエンコーダーデコーダー構造を訓練することで、未学習のスタイルに対しても、実MIDI入力に対して高品質で音楽的に整合性のある翻訳を達成する。

ABSTRACT

Research on style transfer and domain translation has clearly demonstrated the ability of deep learning-based algorithms to manipulate images in terms of artistic style. More recently, several attempts have been made to extend such approaches to music (both symbolic and audio) in order to enable transforming musical style in a similar manner. In this study, we focus on symbolic music with the goal of altering the 'style' of a piece while keeping its original 'content'. As opposed to the current methods, which are inherently restricted to be unsupervised due to the lack of 'aligned' data (i.e. the same musical piece played in multiple styles), we develop the first fully supervised algorithm for this task. At the core of our approach lies a synthetic data generation scheme which allows us to produce virtually unlimited amounts of aligned data, and hence avoid the above issue. In view of this data generation scheme, we propose an encoder-decoder model for translating symbolic music accompaniments between a number of different styles. Our experiments show that our models, although trained entirely on synthetic data, are capable of producing musically meaningful accompaniments even for real (non-synthetic) MIDI recordings.

研究の動機と目的

• 記号的音楽スタイル翻訳のための対応データセットの不足という問題に取り組み、これまでは教師なし学習に限定されてきたことを改善すること。
• 粗いジャンルラベルを超えて微細なスタイル転送を学習可能な教師ありアプローチを開発すること。
• 和声的内容を保持したまま、さまざまなターゲットスタイルに向けた楽器伴奏（ベースおよびピアノ）のエンドツーエンド翻訳を可能にすること。
• 合成データのみで訓練されたモデルが、実際の未観測MIDI録音に一般化できるかを評価すること。
• 翻訳品質を評価するための新しい目的関数メトリックを導入すること。

提案手法

• 合成データ生成パイプラインにより、単一のソーススコアにスタイル固有の変換を適用することで、複数のスタイルにおけるペアド音楽セグメントを生成する。
• 入力楽曲（コンテンツ）をターゲットスタイルにマッピングするエンコーダーデコーダー神経ネットワークを、学習されたスタイル埋め込みベクトルに条件づけて訓練する。
• モデルはコンテンツ表現のための共有エンコーダーと、スタイル埋め込みに応じてベースおよびピアノトラックを生成する条件付きデコーダーを用いる。
• スタイル埋め込みはトレーニング中にコントラスト型目的関数を用いて学習され、分離可能で意味的なスタイル表現を可能にする。
• ハーモニックおよびリズミカルな特徴に基づく新しい目的メトリックを導入し、生成されたスタイルとターゲットスタイル間のスタイル類似度を評価する。
• 神経機械翻訳の技術を応用し、スタイル条件付きの記号的音楽に適応する。

実験結果

リサーチクエスチョン

• RQ1 実際の対応データが存在しない状況でも、完全な教師ありアプローチが記号的音楽スタイル翻訳に有効であるか。
• RQ2 合成データ生成が、実世界のMIDI入力への一般化を可能にするほど十分に現実的かつ多様なトレーニングペアを生成できるか。
• RQ3 学習されたスタイル埋め込みに条件づけた単一のデコーダーが、多数の異なる音楽スタイルにわたり高品質な翻訳を可能にするか。
• RQ4 複数のスタイルで学習するのと、1つのスタイルペアでの学習とを比較した場合、未観測の実データへの一般化性能に差が出るか。
• RQ5 学習されたスタイル埋め込み空間が、意味的かつ分離可能な音楽的スタイル特性を捉えられるか。

主な発見

• 合成データのみで訓練されたモデルは、実MIDI録音にうまく一般化し、音楽的に整合性があり、スタイル的に正確なベースおよびピアノ伴奏を生成する。
• 70→70モデル（70のスタイルで学習）は、1→1モデル（1つのスタイルペアで学習）よりも実世界データへの一般化性能が顕著に優れている。これは、多様なスタイルでの学習の利点を示している。
• スタイル埋め込み空間には意味的な幾何構造が存在し、LDA可視化により「均等な」（even）と「スイング」（swing）のリズム感スタイルが明確に分離されている。
• 内容保持メトリクスによる確認により、複雑なリズムパターンを生成しても、和声構造の保持が効果的に行われている。
• 偶発的なタイミングエラー（特にスイングリズム）は見られるものの、生成されたトラックは結合された状態でも一貫性があり、スタイル的に整合性を保っている。
• 目的のスタイル類似度メトリックは、主観的品質と良好に相関しており、翻訳忠実度の評価に有効であることが裏付けられた。