[論文レビュー] Learning to Groove with Inverse Sequence Transformations

Jon Gillick, Adam P. Roberts+3 more|arXiv (Cornell University)|May 14, 2019

Teaching and Learning Programming被引用数 40

ひとこと要約

この論文は Seq2Seq と Variational Information Bottleneck（VIB）モデルを用いてドラム譜を表現豊かな演奏へ翻訳する。Groove MIDI Dataset を導入し、Humanization、Infilling、Tap2Drum のタスクを提案。

ABSTRACT

We explore models for translating abstract musical ideas (scores, rhythms) into expressive performances using Seq2Seq and recurrent Variational Information Bottleneck (VIB) models. Though Seq2Seq models usually require painstakingly aligned corpora, we show that it is possible to adapt an approach from the Generative Adversarial Network (GAN) literature (e.g. Pix2Pix (Isola et al., 2017) and Vid2Vid (Wang et al. 2018a)) to sequences, creating large volumes of paired data by performing simple transformations and training generative models to plausibly invert these transformations. Music, and drumming in particular, provides a strong test case for this approach because many common transformations (quantization, removing voices) have clear semantics, and models for learning to invert them have real-world applications. Focusing on the case of drum set players, we create and release a new dataset for this purpose, containing over 13 hours of recordings by professional drummers aligned with fine-grained timing and dynamics information. We also explore some of the creative potential of these models, including demonstrating improvements on state-of-the-art methods for Humanization (instantiating a performance from a musical score).

研究の動機と目的

• 正確なタイミングとダイナミクスを持つ大規模な整合ドラム演奏データセット（Groove MIDI Dataset）を作成し、表現的な演奏モデリングを可能にする。
• 簡略化されたドラム表現を現実的な演奏へ翻訳するモデルを開発・評価する（Humanization）。
• ドラム Infilling や Tap2Drum を導入・研究し、ドラム演奏のユーザーによる制御を容易にする。
• GrooVAE 系列の表現生成モデルを提案し、それらの知覚品質を分析する。
• 音楽のような時系列データにおける逆シーケンス変換の学習手法を進化させる。

提案手法

• 圧縮された音楽表現から詳細なドラム演奏（ヒット、オフセット、ベロシティ）へ写像するよう Seq2Seq アーキテクチャを適応させる。
• タイミングを連続ガウスオフセットとベロシティで表現し、16th-note 解像度で H, V, O を予測する。
• 教示教師付き手法を用い、ヒット予測、ベロシティ誤差、オフセット誤差を組み合わせた多成分損失（Equation L_t）を使用する。
• Groove Transfer バリアントを組み込み、グルーブ（演奏）をスコア内容から分離してスタイル転送を実現。
• Embeddings に対して Variational Information Bottleneck (VIB) を適用し、現実感と制御のバランスを取る（ELBO with beta=0.2）。
• ベースラインとして Quantized, Linear Regression, KNN を提供し、比較のためにいくつかのニューラルモデル（MLP, Seq2Seq, Groove Transfer）を用意する。

実験結果

リサーチクエスチョン

• RQ1 簡略化された表現から現実的なドラム演奏を生成する逆シーケンス変換アプローチは有効か？
• RQ2 Seq2Seq と VIB ベースのモデルは、ドラム譜の Humanization において従来のベースラインを上回るか？
• RQ3 Infilling および Tap2Drum タスクをモデルはどれだけうまくこなし、出力は実データと知覚的に競合するか？
• RQ4 Groove Transfer はリアルさを犠牲にせず、効果的なドラム演奏スタイル転送を可能にするか？

主な発見

モデル	MAE (ms)	MSE (16th note)	Timing KL	Velocity KL
Baseline	22.6 [22.45–22.72]	0.041 [0.041–0.042]	N/A	N/A
Linear	19.77 [19.63–19.88]	0.033 [0.033–0.034]	4.79 [4.68–4.88]	1.70 [1.66–1.74]
KNN	22.34 [22.19–22.45]	0.043 [0.042–0.0438]	1.10 [1.07–1.12]	0.53 [0.51–0.56]
MLP	19.25 [19.13–19.40]	0.032 [0.031–0.032]	7.62 [7.44–7.80]	2.22 [2.16–2.29]
Seq2Seq	18.80 [18.67–18.90]	0.032 [0.031–0.032]	0.31 [0.31–0.33]	0.08 [0.08–0.09]
Seq2Seq + VIB	18.47 [18.37–18.60]	0.028 [0.028–0.029]	2.80 [2.72–2.86]	0.22 [0.21–0.23]
Groove Transfer	25.04 [24.82–25.28]	0.052 [0.051–0.053]	0.24 [0.23–0.25]	0.12 [0.12–0.13]
Groove Transfer + VIB	24.49 [24.25–24.72]	0.051 [0.049–0.052]	0.27 [0.26–0.28]	0.20 [0.19–0.20]

• Seq2Seq with VIB は、Humanization に関して試験されたモデルの中で最も良い知覚的・定量的性能を達成。
• リスナーは head-to-head テストで KNN ベースラインより Seq2Seq (with VIB) を好み、出力は実データと競合すると判断。
• 定量的指標は Seq2Seq (+VIB) が MAE 18.47 ms、MSE 0.028 (16th note) を達成し、多くのベースラインを上回る。
• Groove Transfer は意味のあるグルーヴ/スタイル制御を提供するが、タイミング精度では一般に Seq2Seq を下回る。
• Infilling は出力が時にはリスナーにとって実データより人間的と評価される場合があり、潜在的な修正ツールとしての利用を示唆。
• Tap2Drum の出力は実データよりやや好まれないが、制御ベースの即興には依然として実用的。