[論文レビュー] Music Style Transfer Issues: A Position Paper.

Shuqi Dai, Zheng Zhang+1 more|arXiv (Cornell University)|Mar 19, 2018

Music and Audio Processing参考文献 31被引用数 18

ひとこと要約

この論文は、音楽の多層的・多モodalな表現が画像データとは根本的に異なるため、音楽スタイル転送が科学的根拠を欠いていると主張する。本稿では、スタイル転送を、確立されたコンピュータ音楽分野と一致させ、教師なし脱同調技術を活用することで、単純なエンドツーエンドニューラル転送手法の限界を克服する再定義を提案する。

ABSTRACT

Led by the success of neural transfer on visual arts, there has been a rising trend very recently in the effort of transfer. However, music style is not yet a well-defined concept from a scientific point of view. The difficulty lies in the intrinsic multi-level and multi-modal character of representation (which is very different from image representation). As a result, depending on their interpretation of music style, current studies under the category of music are actually solving completely different problems that belong to a variety of sub-fields of Computer Music. Also, a vanilla end-to-end approach, which aims at dealing with all levels of representation at once by directly adopting the method of image transfer, leads to poor results. Thus, we see a vital necessity to re-define transfer more precisely and scientifically based on the uniqueness of representation, as well as to connect different aspects of transfer with existing well-established sub-fields of computer studies. Otherwise, an accumulated upcoming literature (all named after transfer) will lead to a great confusion of the underlying problems as well as negligence of the treasures in computer before the age of deep learning. In addition, we discuss the current limitations of modeling and its future directions by drawing spirit from some deep generative models, especially the ones using unsupervised learning and disentanglement techniques.

研究の動機と目的

• 現在のスタイル転送研究における「音楽スタイル」の科学的に根拠のある定義の欠如に取り組むこと。
• 現在の音楽スタイル転送手法が、曖昧なスタイル定義のため、多様なコンピュータ音楽分野の関連しない問題を別々に解いていることの特定。
• 音楽の複雑な表現ゆえに、画像ベースのニューラル転送手法が音楽に適用された際の失敗を批判すること。
• 音楽の独自の構造的・知覚的レベルに適合した、明確で科学的に根拠のあるスタイル転送の再定義を提唱すること。
• スタイル転送研究を、深層学習の台頭に伴い混乱を避け、かつ既存の深層学習以前の知見を再発見できるように、既存の確立されたコンピュータ音楽分野と結びつけること。

提案手法

• 画像スタイル転送手法を直接転用するのではなく、音楽表現の内在的な多層的・多モーダル性に基づいて、音楽スタイル転送を再定義することを提唱する。
• 音楽スタイル転送を、音声信号処理、音楽情報検索、記号的音楽生成などの確立されたコンピュータ音楽分野と一致させることを推奨する。
• 音色、和声、リズムなどの異なる音楽的属性を別々にモデル化できるように、教師なしディープ生成モデルと脱同調技術を導入すること。
• ノートレベル、コードレベル、フレーズレベルなどの異なる音楽的抽象化レベルでスタイル要因を分離する階層的モデリングアプローチを提唱する。
• 一般的なニューラルネットワークアーキテクチャに依存するのではなく、分野固有の知識に根ざした方法論的厳密性を高めること。
• 解釈可能性と制御性の向上を図るため、脱同調表現学習にインspirationを受けること。

実験結果

リサーチクエスチョン

• RQ1 多層的・多モーダルな性質を考慮すると、科学的に厳密に「音楽スタイル」とは何を定義するのか？
• RQ2 なぜ、シンプルなエンドツーエンドニューラル転送手法は、画像転送とは異なり、音楽に適用すると失敗するのか？
• RQ3 どのようにして音楽スタイル転送を、既存で確立されたコンピュータ音楽分野と意味的に結びつけることができるか？
• RQ4 教師なし脱同調技術は、音楽スタイル転送の解釈可能性と品質向上にどのような役割を果たすのか？
• RQ5 深層学習の台頭に伴い、スタイル転送を再定義することで、分野の混乱と過去の知見の喪失を回避するにはどうすればよいか？

主な発見

• 現在の音楽スタイル転送手法は一貫性がなく、曖昧なスタイル定義のため、さまざまなコンピュータ音楽分野の別々の問題を解いている。
• 画像ベースのニューラル転送を音楽に直接適用すると、音楽の表現が画像とは根本的に異なるため、性能が著しく劣る。
• 音楽スタイルの明確な定義の欠如が、文献における一貫性のない研究的主張と科学的に根拠のない主張を生じさせている。
• スタイル転送を確立されたコンピュータ音楽分野と再接続することで、貴重な深層学習以前の知見の喪失を防ぎ、方法論の明確化を図ることができる。
• 教師なし脱同調技術は、異なる音楽的属性を別々にモデル化する有望な道筋を提供し、制御性と解釈可能性を向上させる。
• 混乱を避け、分野の意味のある進展を保証するためには、再定義された科学的に根拠のあるスタイル転送アプローチが不可欠である。