[論文レビュー] DrumGAN: Synthesis of Drum Sounds With Timbral Feature Conditioning Using Generative Adversarial Networks

Javier Nistal Hurlé, Stefan Lattner+1 more|arXiv (Cornell University)|Aug 27, 2020

Music Technology and Sound Studies参考文献 32被引用数 28

ひとこと要約

DrumGANは、明瞭さ、ボマーイネスなどの聴覚的トーン特徴（例：明るさ、ボマーイネス）を条件入力として用いる、高精細なドラム音色合成のための条件付き生成対抗ネットワーク（GAN）を提案する。このモデルは、音質と分布的一致性において、先行するU-Netベースラインを上回り、FADおよびKIDスコアが優れている一方で、特徴の条件付けも正確に維持している。

ABSTRACT

Synthetic creation of drum sounds (e.g., in drum machines) is commonly performed using analog or digital synthesis, allowing a musician to sculpt the desired timbre modifying various parameters. Typically, such parameters control low-level features of the sound and often have no musical meaning or perceptual correspondence. With the rise of Deep Learning, data-driven processing of audio emerges as an alternative to traditional signal processing. This new paradigm allows controlling the synthesis process through learned high-level features or by conditioning a model on musically relevant information. In this paper, we apply a Generative Adversarial Network to the task of audio synthesis of drum sounds. By conditioning the model on perceptual features computed with a publicly available feature-extractor, intuitive control is gained over the generation process. The experiments are carried out on a large collection of kick, snare, and cymbal sounds. We show that, compared to a specific prior work based on a U-Net architecture, our approach considerably improves the quality of the generated drum samples, and that the conditional input indeed shapes the perceptual characteristics of the sounds. Also, we provide audio examples and release the code used in our experiments.

研究の動機と目的

• 音声的で意味のあるトーン特性の直感的かつ音楽的に意味のある制御を可能にするデータ駆動型のドラム音色合成システムの開発。
• U-Netのような決定論的モデルの限界、すなわち音質が低く、データの分散を正しくモデル化できない問題の解決。
• プログレッシブ成長ワッサーラインGAN（PGAN）を用い、聴覚的特徴に基づく条件付き入力を導入することで、生成音声の品質を向上。
• 連続的な聴覚的特徴（例：明るさ、ボマーイネス）への条件付けが、より一貫性があり、聴覚的に正確な音色生成を可能にするかの検証。
• 再現可能性と音楽制作ワークフローへの統合を支援するため、コードと音声サンプルの公開。

提案手法

• モデルは、潜在ノイズと条件付きトーン特徴から、生の音声波形を生成するプログレッシブ成長ワッサーラインGAN（PGAN）アーキテクチャを採用。
• 条件入力は、Audio Commonsトーンモデルを用いて抽出された連続的聴覚特徴（例：明るさ、粗さ）のセットで提供される。
• 識別器に補助回帰ヘッドを追加し、入力トーン特徴を予測する。これにより、生成サンプルにおける特徴の一貫性を保証するため、追加の平均二乗誤差（MSE）損失が導入される。
• 生成器は、実データ分布と指定された条件付き特徴の両方に一致する現実的なドラムサンプルを生成するように訓練される。
• モデルは約30万件のキック、スネア、シンバルのサンプルからなる大規模データセットで学習され、条件付きおよび非条件付き設定の両方で評価される。
• 訓練には、敵対的損失、聴覚的特徴回帰損失、および標準的なGAN目的関数を組み合わせ、訓練の安定化とサンプル品質の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANモデルは、聴覚的に現実的で、音楽的に意味のある特徴によって制御可能な高精細なドラム音色を生成できるか？
• RQ2 連続的な聴覚的特徴（例：明るさ、ボマーイネス）への条件付けは、決定論的モデルと比較して、より一貫性があり正確なトーン制御を可能にするか？
• RQ3 提案されたDrumGANモデルは、音質と分布的一致性の観点から、先行するU-Netベースラインと比較してどのように異なるか？
• RQ4 識別器における補助的特徴回帰損失は、入力条件付けと出力トーン特徴の間の一致度をどの程度向上させるか？
• RQ5 モデルは多様なドラム音色に一般化可能であり、生成のたびに意図された聴覚的特徴を正確に保持できるか？

主な発見

• DrumGANは、U-Netベースラインと比較して、より優れたFréchet Audio Distance（FAD）およびKernel Inception Distance（KID）スコアを達成しており、実際のドラムサンプルとの分布的一致性が優れていることが示された。
• FADは約14ポイント、KIDは最大14ポイント低下しており、サンプルの品質と多様性が向上していることが確認された。
• 特徴の一貫性テストでは、DrumGANが聴覚的特徴の制御を一貫して維持していることが判明。例えば、明るさとボマーイネスはそれぞれ平均0.74および0.80の正確さで再現された。
• 一部の特徴（例：硬さ、粗さ）の平均精度が低いものの、U-Netと比較して特徴全体にわたる性能のばらつきが少なく、U-Netは明るさで0.99、粗さで0.59など極端な変動を示していた。
• 敵対的訓練スキームにより、データ分散のモデリングが向上し、より高い聴覚的品質が得られたが、特徴予測の決定論的性が若干低下した。
• 定量的指標と音声例による検証を通じて、DrumGANは、プロフェッショナルな音楽制作に適した、聴覚的に一貫性があり高品質なドラムサンプルを効果的に生成できた。