[論文レビュー] Improving Perceptual Quality of Drum Transcription with the Expanded Groove MIDI Dataset

Lee Callender, Curtis Hawthorne+1 more|arXiv (Cornell University)|Apr 1, 2020

Music and Audio Processing参考文献 25被引用数 14

ひとこと要約

本稿では、速度アノテーション付きの444時間にわたる人間が演奏したドラムトランスクリプションデータセット、Expanded Groove MIDI Dataset (E-GMD) を紹介し、それを用いてタイミングと速度の両方を予測するモデルを訓練した。分類指標は類似しているにもかかわらず、聴取テストの結果、速度を考慮した生成が音声の質感を著しく向上させることを示しており、標準的な指標が後続の知覚的性能を適切に予測できないことが明らかになった。

ABSTRACT

We introduce the Expanded Groove MIDI dataset (E-GMD), an automatic drum transcription (ADT) dataset that contains 444 hours of audio from 43 drum kits, making it an order of magnitude larger than similar datasets, and the first with human-performed velocity annotations. We use E-GMD to optimize classifiers for use in downstream generation by predicting expressive dynamics (velocity) and show with listening tests that they produce outputs with improved perceptual quality, despite similar results on classification metrics. Via the listening tests, we argue that standard classifier metrics, such as accuracy and F-measure score, are insufficient proxies of performance in downstream tasks because they do not fully align with the perceptual quality of generated outputs.

研究の動機と目的

• 表現的なドラムトランスクリプションを制限している、大規模かつ人間が演奏したドラムデータセットに速度アノテーションが付与されていないという点を解決すること。
• 打鍵タイミングに加えて速度を予測することで、再合成されたドラム音声の知覚的質が向上するかどうかを調査すること。
• 標準的な分類指標（例：F-measure）が、音声生成タスクにおける知覚的性能の代替指標として十分であるという仮定に疑問を呈すること。
• E-GMDで訓練されたディープラーニングモデルを開発・評価し、タイミング、ドラム種別、速度を同時に予測することで、音声のリアリズムを向上させること。
• 聴取テストが、分類器指標が知覚的質を予測できない場合に特に価値を持つことを示すこと。

提案手法

• 43台の実物のドラムキットからなる444時間の音声を含む、Expanded Groove MIDI Dataset (E-GMD) を導入。各打鍵のタイミングと速度を人間がアノテートした。
• OaF-Drumsと呼ばれるディープラーニングモデルを訓練し、打鍵タイミング、ドラム種別に加えて速度を予測するための別々の速度予測ヘッドを備えた。
• 大規模なE-GMDデータセットにおける過学習を軽減するため、モデルの正則化を目的とした新規なシャッフルドミックスアップデータオーグメンテーション戦略を適用した。
• FluidSynthとGeneral MIDI SoundFontを用いて、モデル出力を合成。予測された打鍵と速度を標準化されたドラムサンプルにマッピングし、一貫性のある音声レンダリングを実現した。
• 496の音声クリップを用いた大規模な聴取テストを実施。ペアワイズの好み判断を用いて、速度予測あり・なしのモデル出力を比較した。
• スチューデントのt検定に類似したノンパラメトリック検定（Kruskal-Wallis H検定およびWilcoxon符号順位検定）を用い、ボンフェローニ補正を適用して聴取テスト結果における知覚的差の有意性を検証した。

実験結果

リサーチクエスチョン

• RQ1 分類指標が類似しているにもかかわらず、打鍵タイミングに加えて速度を予測することで、知覚的に優れたドラムトランスクリプション出力が得られるか？
• RQ2 F-measureのような標準的な分類指標が、音声生成タスクにおける知覚的質の代理指標としてどれほど不適切であるか？
• RQ3 大規模なデータセットに人間がアノテートした速度情報を含めることで、再合成されたドラム演奏のリアリズムはどの程度向上するか？
• RQ4 シャッフルドミックスアップのようなデータオーグメンテーション技術は、大規模で多様なドラムデータセットで訓練されたモデルに対して、効果的に正則化できるか？
• RQ5 速度予測ありのドラムトランスクリプションと、速度を定数に固定したものの間に、統計的に有意な知覚的差が生じるか？

主な発見

• E-GMDで訓練されたOaF-Drumsモデルは、ペアワイズ聴取比較で919勝を記録し、速度予測なしのモデルを著しく上回った。
• 速度予測ありモデルは2,976回のペアワイズ比較のうち919勝を挙げたが、速度を固定したモデルはたった456勝にとどまり、明確な知覚的優位性が示された。
• Kruskal-Wallis H検定により、モデル間で統計的に有意な差が確認された（χ²(2) = 559.19, p < 0.001）。後続の多重比較検定では、すべてのペアワイズ差が有意であった（p < 0.001/6）。
• F-measureなどの分類指標が類似しているにもかかわらず、速度を考慮したモデルは、はっきりとした知覚的質の向上を示しており、標準的指標と人間の知覚の間には乖離が生じていることが明らかになった。
• 444時間の演奏音声と速度アノテーションを含むE-GMDデータセットは、過去のデータセットと比べて10倍以上大きく、このようなアノテーションを含む最初のデータセットである。
• シャッフルドミックスアップというデータオーグメンテーション戦略は、E-GMDデータセットにおける過学習を効果的に軽減し、モデルの汎化性能を向上させた。