[論文レビュー] LakhNES: Improving multi-instrumental music generation with cross-domain pre-training

Chris Donahue, Huanru Henry Mao+3 more|arXiv (Cornell University)|Jul 10, 2019

Music and Audio Processing被引用数 48

ひとこと要約

LakhNES は Transformer-XL を多楽器の象徴音楽生成に適用し、NES風の四声合奏にマッピングした異種データセット Lakh MIDI で事前学習し、その後 NES-MDB でファインチューニングすることで性能を向上させる。

ABSTRACT

We are interested in the task of generating multi-instrumental music scores. The Transformer architecture has recently shown great promise for the task of piano score generation; here we adapt it to the multi-instrumental setting. Transformers are complex, high-dimensional language models which are capable of capturing long-term structure in sequence data, but require large amounts of data to fit. Their success on piano score generation is partially explained by the large volumes of symbolic data readily available for that domain. We leverage the recently-introduced NES-MDB dataset of four-instrument scores from an early video game sound synthesis chip (the NES), which we find to be well-suited to training with the Transformer architecture. To further improve the performance of our model, we propose a pre-training technique to leverage the information in a large collection of heterogeneous music, namely the Lakh MIDI dataset. Despite differences between the two corpora, we find that this transfer learning procedure improves both quantitative and qualitative performance for our primary task.

研究の動機と目的

• Transformer-based symbolic music generation を固定の四楽器 NES風編成に拡張し、声部の多声音を実現.
• NES-MDB を捉えるイベントベースの表現を導入し、楽器間の音楽的 salient な変化を捉える.
• Lakh MIDI を NES風編成へマッピングして大規模なクロスドメイン事前学習コーパスを作成し、NES-MDB でファインチューニングして生成品質を向上.
• 事前学習とデータ拡張の利点を定量的（ perplexity ）および定性的（ 人間の研究 ）で評価.

提案手法

• Transformer-XL を backbone として長期依存をモデリングするイベントベース NES-MDB シーケンス.
• 時刻シフトや楽器別ノートイベントを含む631種類のイベントを持つイベントベース表現を使用.
• Lakh MIDI を NES の編成へマッピングして大規模なクロスドメイン事前学習コーパスを作成し、次に NES-MDB でファインチューニング.
• データ拡張（転置、テンポ変化、楽器ドロップアウト/シャッフル）を適用して一般化を向上.
• テストセットで perplexity を用いて評価し、チューリング風の人間研究と好みのユーザStudy を実施して人間親和性を評価.

実験結果

リサーチクエスチョン

• RQ1 Transformer-XL は NES風編成の多楽器象徴音楽の長距離構造を効果的にモデルできるか？
• RQ2 NES_MDB での生成品質を改善するため、大規模な異種 MIDI コーパスを NES にマッピングして事前学習する効果はあるか？
• RQ3 データ拡張はモデルの性能と生成音楽の人間認識にどのような影響を与えるか？
• RQ4 LakhNES は n-gram ベースラインや LSTM ベースラインと比較して客観評価と人間判断の点でどうか？
• RQ5 象徴音楽のクロスドメイン転移学習にイベントベース表現は適しているか？

主な発見

• Transformer-XL はテスト perplexity を大幅に低く抑え、5-gram が 37.25、LSTM が 14.11 に対して PPL が 3.50。
• データ拡張は LSTM と Transformer-XL の性能をそれぞれ約10%と22%改善。
• Lakh MIDI を NES にマッピングして NES-MDB でファインチューニングした事前学習（LakhNES）は、拡張だけより約10%良い perplexity を達成（ファインチューニング後 PPL は 2.46）。
• ファインチューニング前に Lakh MIDI の事前学習エポックを増やすと perplexity は低下するが、利得は逓減（探索した 1、2、または 4 エポック）。
• ユーザ研究では LakhNES がベースラインより人間らしいと判定されることがあり、チューリングテストでは事前学習なしの Transformer-XL より優れているが、実データには及ばない。
• LakhNES は競合手法より好みが高いが、人間の判定は依然として実データを優先。