[論文レビュー] Generating Black Metal and Math Rock: Beyond Bach, Beethoven, and Beatles

Zack Zukowski, Cameron Carr|arXiv (Cornell University)|Nov 16, 2018

Music and Audio Processing参考文献 5被引用数 13

ひとこと要約

本稿では、ブラックメタルやマスロックなどの複雑な現代音楽ジャンルを合成するために、LSTMユニットを用いた深く多層的なSampleRNNを用いた生音声生成アプローチを提案する。16kHzでフルアルバムの生FLAC音声を学習させることで、急激なトランジション、奇数拍子、豊かなトーン特性といったジャンル固有の特徴を再現した音声を生成し、神経音声合成が従来の記号的音楽モデリングをはるかに超えた現代的スタイルの音響的複雑性を捉えることができることを示している。

ABSTRACT

We use a modified SampleRNN architecture to generate music in modern genres such as black metal and math rock. Unlike MIDI and symbolic models, SampleRNN generates raw audio in the time domain. This requirement becomes increasingly important in modern music styles where timbre and space are used compositionally. Long developmental compositions with rapid transitions between sections are possible by increasing the depth of the network beyond the number used for speech datasets. We are delighted by the unique characteristic artifacts of neural synthesis.

研究の動機と目的

• ブラックメタルやマスロックのような、トーン的および空間的構成に大きく依存する現代的で複雑な音楽ジャンルを合成できる神経音声生成モデルの開発を目的とする。
• MIDIなどの記号的音楽モデリング（例：MIDI）にとどまらず、時間領域での生音声生成により、微細な音響的特徴を保持することを目的とする。
• 非機能的調性システムを有する現代ジャンルの構造的およびトーン的複雑性を学習・再現できる、深く階層的なSampleRNNアーキテクチャの有効性を調査することを目的とする。
• 神経合成アーティファクト（例：不気味なボーカルレイヤー、奇妙なトーンのハイブリッド）が創造的ツールとして果たす美学的潜在的可能性を探索することを目的とする。

提案手法

• 16kHzのサンプリングレートで生FLAC音声を8秒のチャンクに分割し、ランダムにシャッフルし、88/6/6のトレイン/バリエーション/テスト分割を実施。
• 256の埋め込みサイズ、1024の隠れ層次元、5〜9層、256段階の線形量子化を用いた2段階のSampleRNNを用い、生音声を生成。
• 生成の多様性を向上させるために、忘却ゲートバイアスを3に初期化し、ランダムまたは学習可能な初期隠れ状態（h0）を採用したLSTMユニットを採用。
• argmax推論を、ソフトマックス出力分布からの確率的サンプリングに変更することで、音声のバリエーションを向上させ、モード崩壊を回避。
• NVIDIA K80 GPUを用いて3〜5日間学習し、重み正規化とスキップ接続を適用。1チェックポイントあたり10×30秒の音声クリップを生成。
• 音声的検査によるモデル品質の評価を行い、白色ノイズしか生成しない、または繰り返しリフに陥るチェックポイントを回避。

実験結果

リサーチクエスチョン

• RQ1 フルアルバムの学習データに基づく生音声生成モデルは、音楽的に整合的かつスタイル的に正確なブラックメタルおよびマスロックの作品を生成できるか？
• RQ2 スピーチ特化の深さを超えてSampleRNNアーキテクチャを深くすることで、急激なトランジションを伴う複雑で長大な音楽的構造の生成にどのような影響を与えるか？
• RQ3 トレーニングデータにおけるトーンの一貫性と統一されたミキシング／マスタリングが、モデルの一般化能力および音楽的アイデアの統合能力にどの程度寄与するか？
• RQ4 推論時のサンプリング戦略（例：ソフトマックスサンプリング対argmax）は、モード崩壊を回避し、音楽的多様性を向上させるために果たす役割は何か？
• RQ5 神経合成に内在するアーティファクト（例：不気味なボーカルレイヤー、奇妙なトーンのハイブリッド）は、生成音楽における新しい美学的特性にどのように寄与するか？

主な発見

• Kralliceのフルアルバムで学習した5層LSTMモデルは、アトモスフィックなトーン、トゥルーロピッキングギター、深く叫ぶ声など、オリジナルのブラックメタルスタイルに極めて近い音声を生成した。
• Room For A Ghostで学習した7層LSTMモデルは、6分間の作品を生成し、急激なセクション的トランジション、奇数拍子、長めの休符を含み、元の音楽をマスロック風に変容させた。
• GRUベースのモデルは音声パターンを学習できず、荒々しいノイズを生成したが、LSTMモデルは成功したため、ジャンルの複雑さに対してアーキテクチャの感受性が顕著に現れた。
• 初期隠れ状態（h0）をランダム化することで、生成の多様性が向上し、繰り返しが減少した。これは、モード崩壊を回避するうえで重要であることが示唆された。
• チェックポイントでの間欠的生成により、一般化されたトーンのテクスチャから構造的なリフやセクション的トランジションへと段階的に学習が進んでいることが明らかになった。
• モデルは、不気味なボーカルレイヤーや奇妙なトーンのハイブリッドといった独自の美学的アーティファクトを生成し、現実の模倣を超えた創造的潜在可能性を高めた。