[論文レビュー] Generating Albums with SampleRNN to Imitate Metal, Rock, and Punk Bands

Cameron Carr, Zack Zukowski|arXiv (Cornell University)|Jun 25, 2018

Music and Audio Processing参考文献 11被引用数 10

ひとこと要約

本論文では、1枚のアルバムから得た生音声データを用いて、無条件のSampleRNNを訓練することで、メタル、ロック、パンクバンドのスタイルに合わせた完全なアルバムの生成を提案する。この手法により、自己回帰的かつ時間領域での音声生成が可能となり、楽曲、アートワーク、タイトルが音楽的に整合性を持つ。人間によるキュレーションが、完全自動生成に比べて聴きやすさと多様性を著しく向上させた。

ABSTRACT

This early example of neural synthesis is a proof-of-concept for how machine learning can drive new types of music software. Creating music can be as simple as specifying a set of music influences on which a model trains. We demonstrate a method for generating albums that imitate bands in experimental music genres previously unrealized by traditional synthesis techniques (e.g. additive, subtractive, FM, granular, concatenative). Raw audio is generated autoregressively in the time-domain using an unconditional SampleRNN. We create six albums this way. Artwork and song titles are also generated using materials from the original artists' back catalog as training data. We try a fully-automated method and a human-curated method. We discuss its potential for machine-assisted production.

研究の動機と目的

• ブラックメタル、マス・ロック、スケートパンクなどの未だ十分に研究が進んでいない現代音楽ジャンルにおける、生音声のニューラル合成を探索すること。
• 生音声と最小限の教師信号のみを用いて、音楽、タイトル、アートワークを含む完全なアルバムを生成する手法を開発すること。
• 音楽的品質とリスナーの関与度の観点から、完全自動生成と人間によるキュレーションの両方のワークフローを比較すること。
• ニューラル合成が、マシン支援音楽制作や新しいデジタルオーディオワークステーションにどう応用できるかを調査すること。
• 無条件自己回帰モデルが、短時間のトーン・トーンやリズムの正確性を保ちながら、長期間の音楽的構造（例：リフ、楽曲構成）をいかに捉えられるかの限界を評価すること。

提案手法

• 1枚のアルバムから得た生音声データを用いて、短時間の音声パターン（トーン、アーティキュレーション、ドラムヒットなど）をモデル化する無条件のSampleRNNを訓練する。
• 音声を8秒の重複するFLACチャンクに分割し、88%を訓練、6%をテスト、6%を検証に割り当てる。
• 時間軸に沿った誤差逆伝播（ truncated backpropagation through time ）を用いて、サンプルレベルの予測に特化した学習を実施し、局所的な音声特徴に焦点を当てる。
• 自己回帰的サンプリングにより、大量の音声、タイトル、アートワークを生成し、その出力からコンテンツを選別またはキュレーションする。
• 人間によるキュレーションプロセスを適用し、トラックの選定と編集を実施。特に、繰り返しのモチーフの再現や、ステレオイメージに合わせたドラムパターンのレイヤー整合を図った。
• オリジナルアーティストのメタデータに基づいてトレーニングされたマルコフ連鎖を用いて、タイトルとアートワークを生成し、スタイルの一貫性を保証した。

実験結果

リサーチクエスチョン

• RQ1 無条件のSampleRNNは、楽譜表現なしに、パンクやメタルなどの現代のサブジャンルに特化した音楽的に整合性のあるアルバムを生成できるか？
• RQ2 モデルが出力したコンテンツに対する人間によるキュレーションは、生成アルバムの聴きやすさと構造的整合性にどのように影響を与えるか？
• RQ3 生音声モデル（例：SampleRNN）は、現代の音楽制作におけるスペクトル的・ダイナミックな特徴をどの程度捉えることができるか？
• RQ4 自己回帰的かつ無条件の生成手法には、リフや楽曲構成といった長期間の音楽的構造をモデル化する上で、どのような限界があるか？
• RQ5 ニューラル合成は、アーティストが共同で作業する形で実用的な音楽制作ワークフローにどう統合できるか？

主な発見

• モデルは、1つのソースアルバムからの生音声データのみを用いて、メタル、パンク、実験的ロックなど多様なジャンルの6枚の完全なアルバムを生成した。
• 人間によるキュレーションが施されたアルバムは、完全自動生成のものに比べ、聴きやすさと音楽的多様性が著しく向上しており、後者は繰り返しが多く、関与しにくい傾向にあった。
• モデルは、Battlesのポリリズム的テクスチャー、NOFXのメロディックボーカルなど、ジャンル固有のトーン的・リズム的特徴を、ジャンルや構成に関する明示的条件付けなしに捉えていた。
• 後期の訓練エポックでは、元のバンドのトーンパレットの再現がより正確になったが、リズム的遷移に不自然さが生じ、ユーモラスではあるが芸術的に興味深い効果を生んだ。
• モデルが生成した意味のない歌詞は、ファンによる「誤聞き歌詞」動画のインスピレーションを生み、技術的正確性を越えた文化的・芸術的共鳴を示した。
• 本研究は、ニューラル合成が、特に人間によるキュレーションと組み合わせることで、新しいデジタル音楽楽器や共同作業ワークフローの可能性を示している。