[論文レビュー] DeepDrum: An Adaptive Conditional Neural Network

Dimos Makris, Μάξιμος Καλιακάτσος-Παπακώστας+1 more|arXiv (Cornell University)|Sep 17, 2018

Music and Audio Processing参考文献 9被引用数 3

ひとこと要約

DeepDrumは、LSTM層を用いてドラムリズムの系列を学習し、ベーシック・ギターの音符、テンポ、時間 signatures などの外部音楽的制約を組み込む、条件付き（フィードフォワード）層を備えた適応的条件付きニューラルネットワークを提案する。このモデルは、訓練データ外の条件、例えば未知の時間 signatures も含め、スタイルに整合したドラムパターンを生成でき、訓練データをはるかに超えた一般化性能を示している。

ABSTRACT

Considering music as a sequence of events with multiple complex dependencies, the Long Short-Term Memory (LSTM) architecture has proven very efficient in learning and reproducing musical styles. However, the generation of rhythms requires additional information regarding musical structure and accompanying instruments. In this paper we present DeepDrum, an adaptive Neural Network capable of generating drum rhythms under constraints imposed by Feed-Forward (Conditional) Layers which contain musical parameters along with given instrumentation information (e.g. bass and guitar notes). Results on generated drum sequences are presented indicating that DeepDrum is effective in producing rhythms that resemble the learned style, while at the same time conforming to given constraints that were unknown during the training process.

研究の動機と目的

• 学習した音楽的スタイルを反映しつつ、外部の音楽的制約に適応できる深層学習モデルの開発。
• 既存のモデルが他の楽器や構造的要素との相互作用を考慮せずにリズムを生成するという限界を是正すること。
• 訓練データに存在しない条件、例えば新しい時間 signatures（例：3/8、9/8）に対してもドラムパターンの生成を可能にすること。
• 過去および未来の音楽的文脈に応じて反応できるようにすることで、人間のドラムマスターの振る舞いを模倣すること。

提案手法

• アーキテクチャは、3つの独立したLSTMブロックを備え、それぞれがスネア、キック、ハイハットなどの3つのドラム部品タイプの予測を担当し、ドラムイベント内の系列的依存関係を学習する。
• 2つのフィードフォワード（FF）モジュール—Pre-FF と Post-FF—が、ワンホット符号化されたベース、ギター、テンポ、拍子構造、および移動時間窓内のグループ化を含む条件付き入力を処理する。
• Pre-FF は過去の音楽的文脈を処理し、LSTMブロックの入力前に連結される。Post-FF は現在および将来の情報を処理し、LSTM出力の後に連結される。
• モデルは2段のLSTM層を用い、各層に256個の隠れユニットを設定し、すべての接続にドロップアウト正則化（0.2）を適用し、FF層ではReLUおよび線形活性化関数を用いる。
• 条件付き入力はワンホット形式に符号化され、時間ステップにわたる時間的文脈を捉えるために移動窓を用いて処理される。
• 最終出力は、各ドラム部品ごとに独立したソフトマックス層を用いて生成され、交差エントロピー損失を用いたエンド・トゥ・エンドの学習が可能となる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、訓練中に確認されていなかった外部音楽的制約（例：ベースやギターの音符、テンポ、時間 signatures）に適応しながら、学習した音楽的スタイルを模倣したドラムリズムを生成できるか？
• RQ2 モデルは、訓練データに存在しなかった新しい音楽的条件（例：3/8、9/8 などの未知の時間 signatures）に対して、どの程度一般化できるか？
• RQ3 条件付きフィードフォワード層の導入により、リズム的に整合性があり、文脈的に適切なドラムパターンの生成能力がどの程度向上するか？
• RQ4 モデルは、過去および未来の音楽的出来事（例：テンポ変化、フレーズ境界）に応じて反応することで、人間のドラムマスターの振るまいを模倣できるか？

主な発見

• DeepDrumは、訓練データに存在しなかった場合でも、ベースやギターの音符、テンポ、時間 signatures などの音楽的制約に従うドラムリズムを成功裏に生成した。
• t-SNEを用いたグローバルリズム特徴の可視化により、訓練データのスタイルに近いクラスタリングが確認され、学習した音楽的スタイルに類似した出力を得た。
• 100エポックを超えた後期の出力（PT–PF）では、真値の特徴分布に近づく傾向が強く、学習の深化と一般化能力の向上が示された。
• ディスコ風の楽曲（AB）に対しても妥当なドラムパターンを生成でき、訓練の過程で特徴分布がターゲットスタイルに漸近する傾向が観察され、ジャンル間の適応性が裏付けられた。
• 条件付きフィードフォワード層の導入により、リズムの整合性を維持し、フレーズ境界やテンポ変化などの構造的変化に適切に反応する能力が著しく向上した。
• モデルは、訓練分布外の時間 signatures（例：3/8、9/8）に対しても頑健に処理でき、条件付き入力が訓練データを超えた一般化を可能にしていることが示された。