[論文レビュー] Towards democratizing music production with AI-Design of Variational Autoencoder-based Rhythm Generator as a DAW plugin

Nao Tokui|arXiv (Cornell University)|Apr 1, 2020

Music and Audio Processing参考文献 15被引用数 4

ひとこと要約

この論文では、Ableton Live用のVAEベースのリズム生成プラグイン、M4L.RhythmVAEを提示する。このプラグインは、MIDIファイルをドラッグアンドドロップすることで、音楽家がカスタムリズムモデルをトレーニング可能であり、XYペダルを用いた2次元潜在空間のリアルタイム制御により、生成出力を探索できる。プロの音楽家たちは、創造的探求に有用であると評価し、AIを音楽制作に民主化する実用的道筋を示している。

ABSTRACT

There has been significant progress in the music generation technique utilizing deep learning. However, it is still hard for musicians and artists to use these techniques in their daily music-making practice. This paper proposes a Variational Autoencoder\cite{Kingma2014}(VAE)-based rhythm generation system, in which musicians can train a deep learning model only by selecting target MIDI files, then generate various rhythms with the model. The author has implemented the system as a plugin software for a DAW (Digital Audio Workstation), namely a Max for Live device for Ableton Live. Selected professional/semi-professional musicians and music producers have used the plugin, and they proved that the plugin is a useful tool for making music creatively. The plugin, source code, and demo videos are available online.

研究の動機と目的

• ディープラーニングの技術的専門知識を持たない音楽家が実用的に利用可能な高度なAI音楽生成技術との間のギャップを埋めること。
• 非エキスパートが標準的なDAWワークフロー内でカスタムリズム生成モデルをトレーニングおよび使用できる、使いやすくインタラクティブなツールを提供すること。
• 創造的探求のための、直接的かつリアルタイムな潜在空間の操作を可能にすること。
• 音楽家が自身の好むMIDIデータでトレーニングされたAIツールを用いて、新規で実用的な音楽的アイデアを生成できることを示すこと。

提案手法

• システムは、ユーザーが選択したMIDIファイルに基づいてトレーニングされた変分オートエンコーダー（VAE）を実装しており、General MIDI（GM）規格に準拠している。特にチャンネル10のドラムパターンに焦点を当てている。
• MIDIノートオンセットは、固定されたGMドラムマッピングにより9つの定義済みのドラムサウンドにマッピングされ、リズムパターンは16分音符解像度のシーケンスとして符号化されている。
• VAEは2次元の潜在空間を用いて、Max for Liveにおける標準的なXYペダルインターフェースを通じて直感的な制御を可能にし、リアルタイムでのリズムパターン生成を実現している。
• プラグインはAbleton Liveのシーケンサーと統合されており、生成されたリズムが同期され、潜在ベクトルの動きを自動化することで、音楽的プログレッションの作成が可能になっている。
• MIDIファイルのドラッグアンドドロップ後にボタンをクリックすることでトレーニングが開始され、収束状況をリアルタイムで可視化する損失曲線が表示される。
• モデルは、Max用のNode.jsランタイム内にTensorFlow.jsを用いてデプロイされており、外部依存関係なしにデバイス上で推論が可能になっている。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングの専門知識を持たない音楽家が、標準的なDAW環境内でカスタムリズム生成モデルを効果的にトレーニングおよび使用できるか。
• RQ2 2次元潜在空間の直接的かつリアルタイムな制御が、音楽制作における創造的探求およびアイデア生成にどのように影響するか。
• RQ3 2次元潜在空間を備えた小規模な、ユーザーがトレーニングしたVAEモデルが、多様で音楽的に意味のあるリズムパターンをどれほど生成できるか。
• RQ4 このようなプラグインが、実世界の音楽制作ワークフローにおいて、新規の音楽的アイデアを生成する実用的ツールとして機能できるか。

主な発見

• テストに参加したプロの音楽家やプロデューサーは、このプラグインが新しい音楽的アイデアを生成するのに役立つと報告しており、1名の参加者は明確に創造的インスピレーションを受けると述べた。
• プラグインはリアルタイムでインタラクティブなリズム生成を可能にした：ユーザーがXYペダルを動かすと、即座に新しいリズムパターンが生成され、Ableton Liveのシーケンサーと同期して再生された。
• 参加者たちはライブパフォーマンスの場面でもプラグインを実際に使用しており、AIで生成されたリズムを用いた記録済みのステージパフォーマンスが確認され、実用性が裏付けられた。
• 容量に制限があるものの、ユーザー固有のMIDIデータでトレーニングされた2次元潜在空間は、意味のある探求とバリエーションに十分であった。これは、ドメイン特化モデルが創造的用途において汎用モデルを上回ることを支持する仮説であった。
• 潜在ベクトルの動きを記録および自動化できる機能により、ユーザーは進化するリズムプログレッションを生成でき、標準的なDAWワークフローへの統合が実証された。
• ソースコード、プラグイン、デモ動画はすべて公開されており、再現可能性と広範な採用を支援している。