[論文レビュー] Drum Beats and Where To Find Them: Sampling Drum Patterns from a Latent Space

Alexey Tikhonov, Ivan P. Yamshchikov|arXiv (Cornell University)|Jan 1, 2020

Music and Audio Processing参考文献 24被引用数 1

ひとこと要約

本論文では、ドラムパターンの大型データセットを紹介し、アドバーシャルに制約けんされたオートエンコーダー（ACAI）を用いて、ドラムパターン生成のための分離可能で補間可能な潜在空間を学習することを提案する。標準的な変分オートエンコーダー（VAE）と比較して、ACAIはより一貫性がありジャンルに多様なドラムパターンを生成する。これは、ACAIをドラムパターン合成に初めて適用した研究であり、質的・構造的に優れた結果を示している。

ABSTRACT

This paper presents a large dataset of drum patterns and compares two different architectures of artificial neural networks that produce latent explorable spaces with some recognizable genre areas. Adversarially constrained autoencoder interpolations (ACAI) show better results in comparison with a standard variational autoencoder. To our knowledge, this is the first application of ACAI to drum-pattern generation.

研究の動機と目的

• 音楽生成研究のための、大規模かつ多様なドラムパターンデータセットの構築。
• アドバーシャルに制約けんされたオートエンコーダー（ACAI）が、標準的な変分オートエンコーダーと比較して、ドラムパターンの潜在空間をより分離可能で解釈可能な形で学習できるかどうかの調査。
• 補間と潜在空間の探査を通じて、生成されたドラムパターンの質とジャンルの一貫性を評価すること。
• ACAIを用いた構造的で音楽特化型のシーケンス生成、特にドラムパターンモデリングにおける実現可能性と利点を示すこと。

提案手法

• 著者らは、複数のジャンルにわたる実世界のドラムパターンを収集・キュエートした大規模なデータセットを構築した。
• 標準的な変分オートエンコーダー（VAE）とアドバーシャルに制約けんされたオートエンコーダー（ACAI）を、ドラムパターンデータセット上で学習させ、潜在表現を獲得した。
• ACAIは、潜在空間の質と多様性を向上させるために識別器ネットワークを組み込み、現実的で意味的に明確な補間を促進する。
• 両モデルに対して潜在空間の補間を実施し、生成されたパターンの滑らかさと音楽的整合性を評価した。
• 生成されたパターンの質的分析とジャンルの一致度を評価することで、モデルを評価した。
• 潜在空間の探査により、識別可能なジャンル特徴に対応するクラスターや遷移を同定した。

実験結果

リサーチクエスチョン

• RQ1 ACAIによって学習された潜在空間は、標準的なVAEと比較して、より一貫性があり多様なドラムパターンを生成できるか？
• RQ2 ACAIの潜在空間は、聴覚的に明確な音楽的遷移を示す、意味的に有意義な補間を可能にするか？
• RQ3 潜在空間に、明確に識別可能で意味的に明確なクラスターが、異なる音楽ジャンルに対応して存在するか？
• RQ4 敵対的学習の適用が、学習されたドラムパターン表現の質と分離性をどのように向上させるか？

主な発見

• ACAIモデルは、標準的なVAEと比較して、より一貫性があり音楽的に妥当なドラムパターンの補間を生成する。
• ACAIモデルの潜在空間は、ジャンルごとの明確なクラスタリングを示しており、音楽的特徴のより良い分離性を示している。
• ACAIの潜在空間における補間は、一貫したリズム的特徴とジャンル固有の特徴を保ったまま、滑らかなパターン遷移をもたらす。
• ACAIモデルは、リズム的整合性とジャンルの一貫性を保ちながら、新規で現実的であるドラムパターンを生成する優れた能力を示している。