[論文レビュー] Music Style Transfer: A Position Paper

Shuqi Dai, Zheng Zhang+1 more|arXiv (Cornell University)|Mar 19, 2018

Music and Audio Processing参考文献 23被引用数 25

ひとこと要約

本論文は、音楽の多層的・多モodalな表現に基づき、音色、演奏、構成スタイルの転送という3つの明確なタスクに分解することで、音楽スタイル転送のための構造的フレームワークを提案する。深層生成モデルにおけるコンテンツとスタイルの非教師的分離を提唱し、画像スタイル転送の単純な類似にとどまらない、高品質でエンドツーエンドのクロスモーダルスタイル転送を可能にする。

ABSTRACT

Led by the success of neural style transfer on visual arts, there has been a rising trend very recently in the effort of music style transfer. However, "music style" is not yet a well-defined concept from a scientific point of view. The difficulty lies in the intrinsic multi-level and multi-modal character of music representation (which is very different from image representation). As a result, depending on their interpretation of "music style", current studies under the category of "music style transfer", are actually solving completely different problems that belong to a variety of sub-fields of Computer Music. Also, a vanilla end-to-end approach, which aims at dealing with all levels of music representation at once by directly adopting the method of image style transfer, leads to poor results. Thus, we vitally propose a more scientifically-viable definition of music style transfer by breaking it down into precise concepts of timbre style transfer, performance style transfer and composition style transfer, as well as to connect different aspects of music style transfer with existing well-established sub-fields of computer music studies. In addition, we discuss the current limitations of music style modeling and its future directions by drawing spirit from some deep generative models, especially the ones using unsupervised learning and disentanglement techniques.

研究の動機と目的

• 『音楽スタイル転送』における曖昧さと科学的定義の欠如を解消するため、その根幹的な部分問題を特定すること。
• 『音楽スタイル』という概念が不正確に定義されているため、現在のアプローチが異なるコンピュータ音楽分野の問題を混同していることの明確化。
• 既存のコンピュータ音楽研究に整合する、明確な多層的分類体系（音色、演奏、構成）を用いた音楽スタイル転送の正確な分類の提案。
• 高品質なスタイル転送を実現するための鍵として、深層生成モデルにおけるコンテンツとスタイルの非教師的分離を提唱すること。
• 今後の研究を、科学的に妥当で、エンドツーエンドかつクロスモーダルな音楽スタイル転送システムへと導くこと。

提案手法

• 音楽スタイル転送を3つの明確なタスクに分解：音色スタイル転送（音色の質感や楽器の特性）、演奏スタイル転送（テンポ、ダイナミクス、アーティキュレーション）、構成スタイル転送（メロディ、和声、形式）。
• 各スタイル転送タイプをコンピュータ音楽のwell-establishedな分野に対応づける：音色は音響合成、演奏は表現的演奏モデリング、構成はアルゴリズム的作曲。
• 生の音楽データからコンテンツとスタイル要因を学習するため、特にVAEやGANを用いた深層生成モデルを提案し、非教師的分離を実現する。
• 潜在空間における分離を活用し、ソース楽曲からスタイルコードを抽出し、別の楽曲のコンテンツシーケンスに転送する。
• 2段階の生成プロセスを採用：まずソースからスタイルを分離し、次に構造的・メロディックな整合性を保つように、シーケンスモデルを用いてコンテンツシーケンスと再結合する。
• 最適化中にテンプレートマッチングや構造的制約を統合し、スタイル転送中の音楽的整合性を維持する。

実験結果

リサーチクエスチョン

• RQ1 音楽スタイルは、その多層的・多モーダルな性質を鑑みれば、どのように科学的に厳密に定義できるか？
• RQ2 なぜ、画像スタイル転送のアプローチをそのまま音楽に適用しても失敗するのか？（画像とは異なり、音楽には複雑な多層的表現があるため）
• RQ3 既存のコンピュータ音楽分野（例：アルゴリズム的作曲、表現的演奏、音響合成）が、一貫したフレームワークとして統合可能か、その程度は？
• RQ4 分離された表現学習が、高品質で制御可能な音楽スタイル転送を実現するために果たす役割は何か？
• RQ5 現在の音楽モデリングにおける主な限界は何か？非教師的分離技術は、それらをどのように改善できるか？

主な発見

• 現在の『音楽スタイル転送』研究は、『音楽スタイル』という概念が不正確に定義されているため、根本的に異なる問題を解決しているため、文脈に混乱をもたらしている。
• 画像とは異なり、音楽にはスコア、音響、演奏コントロールという複雑な多層的表現があるため、画像ベースのニューラルスタイル転送をそのまま音楽に適用しても失敗する。
• 音色、演奏、構成スタイル転送という3つの明確なカテゴリは、確立されたコンピュータ音楽分野に対応しており、別個に取り扱うべきである。
• VAEやGANなどの深層生成モデルにおける分離された表現学習（例：コンテンツとスタイルの分離）は、効果的なスタイル転送のための不可欠な要素である。
• 初期の構成スタイル転送の試みは、メロディックな構造やコード進行の文法的モデリングが不十分であるため、限定的な成功にとどまっている。特にバッハ風のスタイル以外では顕著である。
• 今後の最も有望な道筋は、非教師的分離によって実現されるエンドツーエンドのクロスモーダルスタイル転送であり、手動でのスタイルラベル付けが不要な柔軟で高品質なスタイル転送を可能にする。