[論文レビュー] Conditioning Deep Generative Raw Audio Models for Structured Automatic Music

Rachel Manzelli, Vijay Thakkar+2 more|arXiv (Cornell University)|Jun 26, 2018

Music and Audio Processing参考文献 7被引用数 8

ひとこと要約

本稿では、双方向LSTMが生成する楽譜的なメロディを、WaveNetに基づく生音声生成器に条件付けするハイブリッド音楽生成モデルを提案する。これにより、構造的で現実的なかたちの音楽が合成可能になる。LSTMが長距離のメロディック構造を捉えることで、中間の楽譜→音声変換を経ることなく、表現的で一貫性のある音声が生成され、MIDI入力と生成音声出力の間に高い相関が得られる。

ABSTRACT

Existing automatic music generation approaches that feature deep learning can be broadly classified into two types: raw audio models and symbolic models. Symbolic models, which train and generate at the note level, are currently the more prevalent approach; these models can capture long-range dependencies of melodic structure, but fail to grasp the nuances and richness of raw audio generations. Raw audio models, such as DeepMind's WaveNet, train directly on sampled audio waveforms, allowing them to produce realistic-sounding, albeit unstructured music. In this paper, we propose an automatic music generation methodology combining both of these approaches to create structured, realistic-sounding compositions. We consider a Long Short Term Memory network to learn the melodic structure of different styles of music, and then use the unique symbolic generations from this model as a conditioning input to a WaveNet-based raw audio generator, creating a model for automatic, novel music. We then evaluate this approach by showcasing results of this work.

研究の動機と目的

• WaveNetのような生音声生成モデルは現実的ではあるが、長距離の音楽的構造を欠いているという問題に対処する。
• 楽譜モデルは構造的ではあるが、音声への後処理が必要で、音響的な豊かさに欠けるという制限を克服する。
• 生音声モデルの表現的で現実的な質と、楽譜モデルの構造的整合性を統合した統一フレームワークを開発する。
• 中間の合成ステップを排除し、楽譜的メロディ条件付けから直接、構造的で高精細な音声をエンドツーエンドで生成可能にする。

提案手法

• 双方向LSTMネットワークを訓練し、音楽データから楽譜的メロディを生成させ、長距離のメロディック依存関係を捉える。
• 生成された楽譜的シーケンス（MIDIに類似した時系列）を、WaveNetに基づく生音声生成器の局所的条件付け信号として使用する。
• WaveNetモデルをMusicNetデータセットで微調整し、さまざまな楽器やジャンルで現実的な音声を生成可能にする。
• 各タイムステップで楽譜的メロディと音声生成プロセスを整合させるために、クロスアテンションまたは連結メカニズムを用いて条件付けを実装する。
• 楽譜とスペクトログラムピークの周波数ベース表現を用いることで、条件付けと出力の間の相互相関分析を可能にする。
• 既存の音声を、楽譜入力を変更して再生成することで編集可能であり、音声の忠実度を保持できる。

実験結果

リサーチクエスチョン

• RQ1 WaveNetに基づく生音声生成器を、楽譜的メロディシーケンスで効果的に条件付けすることで、構造的で現実的な音楽を生成できるか？
• RQ2 条件付けモデルは、入力楽譜シーケンスのメロディック構造を生成音声にどの程度保っているか？
• RQ3 楽譜の条件付け入力のみを変更することで、既存の音声を編集するのにどの程度有効に使えるか？
• RQ4 楽譜入力と生成音声との間の相互相関が、意味のある非ランダムな一致を示しているか？
• RQ5 異なる楽譜的メロディで条件付けすることで、ジャンルや楽器に特化した音楽を生成できるか？

主な発見

• 条件付けされたWaveNetモデルは、LSTMが長距離のメロディック依存関係をモデル化できる能力を活用し、現実的で構造的な音楽を効果的に生成した。
• 相互相関分析により、楽譜の条件付けと生成音声との間に、遅延0で顕著なピーク（値：0.3）が観察され、ランダムなMIDIシーケンスに対して統計的に有意な相関が確認された。
• モデルは表現的な音声編集を可能にした：楽譜的メロディに小さな変更を加えると、生成波形に対し知覚的に意味のある変更が現れた。
• 異なる訓練済みモデルに異なる楽譜を条件付けすることで、同じメロディを複数のジャンルや楽器で並列に生成可能であり、モデル結合なしにアンサンブル風の効果が得られた。
• クラウドソーシング（例：Amazon Mechanical Turk）による人間評価により、非条件付けのWaveNet生成と比較して、知覚的品質と構造的整合性が向上していることが確認された。
• モジュラーなアーキテクチャにより、楽譜の入力に同期させた音声と音楽の統合など、スケーラブルで多分野にわたる音楽生成が可能になった。