[論文レビュー] Neural Drum Machine : An Interactive System for Real-time Synthesis of Drum Sounds

Cyran Aouameur, Philippe Esling+1 more|arXiv (Cornell University)|Jul 4, 2019

Music Technology and Sound Studies参考文献 26被引用数 12

ひとこと要約

本論文では、Melスペクトログ램をモデル化するための条件付きワサーラインオートエンコーダー（CWAE）と、波形再構築のためのマルチヘッド畳み込みニューラルネットワーク（MCNN）を用いて、新しいドラムサウンドを生成するインタラクティブでリアルタイムのシステム、Neural Drum Machineを提示する。このシステムは、PCA最適化されたコントロールを備えたMax4Liveプラグインを通じて、標準のCPU上で直感的で低遅延のサウンド合成を可能にし、音楽プロデューサーがスタジオに統合された創造的で使いやすいツールとしてサウンドデザインや人間らしく調整されたドラムプログラミングに活用できる。

ABSTRACT

In this work, we introduce a system for real-time generation of drum sounds. This system is composed of two parts: a generative model for drum sounds together with a Max4Live plugin providing intuitive controls on the generative process. The generative model consists of a Conditional Wasserstein autoencoder (CWAE), which learns to generate Mel-scaled magnitude spectrograms of short percussion samples, coupled with a Multi-Head Convolutional Neural Network (MCNN) which estimates the corresponding audio signal from the magnitude spectrogram. The design of this model makes it lightweight, so that it allows one to perform real-time generation of novel drum sounds on an average CPU, removing the need for the users to possess dedicated hardware in order to use this system. We then present our Max4Live interface designed to interact with this generative model. With this setup, the system can be easily integrated into a studio-production environment and enhance the creative process. Finally, we discuss the advantages of our system and how the interaction of music producers with such tools could change the way drum tracks are composed.

研究の動機と目的

• ドラムサンプルのブラウジングにおける非効率さと創造的ブottleneckを解消し、直感的でリアルタイムのサウンド探索を可能にする。
• 専用ハードウェアを必要とせず、高品質なドラムサウンドを生成する軽量でリアルタイムの生成モデルを開発する。
• 非エキスパートユーザーがスムーズに統合できるように、音楽制作ワークフローに自然に溶け込むインタラクティブなMax4Liveプラグインを設計する。
• 学習された潜在空間に対して、表現的なサウンドデザインに適した意味のある連続的コントロールを提供する。
• AI駆動のサウンド合成が人間の創造性をどのように高め、電子ドラムパターンを人間らしくするかを検証する。

提案手法

• 条件付きワサーラインオートエンコーダー（CWAE）は、ドラムタイプ（例：キック、スネア）を条件として、コンactな潜在空間からメルスケールスペクトログラムを生成する。
• マルチヘッド畳み込みニューラルネットワーク（MCNN）は、生成されたスペクトログラムから高精細なオーディオ波形を微分可能に再構築する。
• 主成分分析（PCA）により64次元の潜在コードが3つの知覚的に意味のある次元（P1, P2, P3）に圧縮され、直感的なユーザー操作が可能になる。
• Max4LiveプラグインはPCA最適化されたコントロール（P1/P2のXYパッド、P3のノブ）とカテゴリーセレクタを公開し、リアルタイムの相互作用を可能にする。
• UDPベースのクライアント・サーバーアーキテクチャにより低遅延通信を実現：ユーザー入力がPythonサーバーに送信され、新しいWAVファイルが返却される。
• システムは標準の2.6 GHz Intel Core i7 CPUで50ms未満の遅延で動作し、バッファ遅延なしにリアルタイム再生が可能である。

実験結果

リサーチクエスチョン

• RQ1 ディープ生成モデルは、標準のコンsumerハードウェア上でリアルタイムかつインタラクティブなドラムサウンド合成を可能にするか？
• RQ2 高次元の潜在空間は、どのように効果的に圧縮され、直感的で知覚的に意味のあるコントロールとして公開されるか？
• RQ3 このようなシステムは、音楽制作における創造性の向上とサウンドデザインの簡素化にどの程度寄与するか？
• RQ4 ループ全体にわたり合成パラメータをわずかに変化させることで、システムは人間らしく調整されたドラムパターンを生成できるか？
• RQ5 生成モデルをDAWワークフローに統合することで、非エキスパートプロデューサーの使いやすさと採用にどのような影響を与えるか？

主な発見

• システムは標準CPU上で50ms未満の遅延でリアルタイムオーディオ生成を達成しており、ライブおよびスタジオ用途に実用的である。
• PCAで圧縮された潜在空間（P1, P2, P3）により、多様なドラムサウンドの直感的で連続的な探索が可能になりつつ、知覚的な一貫性が保たれている。
• Max4LiveプラグインによりAbleton Liveへのスムーズな統合が実現し、プロデューサーがDAW環境内で即座に新しいドラムサウンドを生成・再生できる。
• 定性的な評価とユーザーインタラクションを通じて、モデルが知覚的に多様な高品質なドラムサウンドを生成していることが検証された。
• システムはループ全体にわたり微細なパラメータ変動を可能にし、プログラミングされたドラムパターンに人間らしさをもたらす実用的な手法を提供している。
• CWAEとMCNNの組み合わせにより、高精細なスペクトログラムから波形への変換が達成され、プロフェッショナルな制作に適した自然な響きのドラムサンプルが得られた。