[論文レビュー] Symbolic Music Genre Transfer with CycleGAN

Gino Brunner, Yuyi Wang+2 more|arXiv (Cornell University)|Sep 20, 2018

Music and Audio Processing被引用数 4

ひとこと要約

本論文では、メロディック構造を保持しながらジャンル特性を変換する、CycleGANに基づく記号的音楽ジャンル転送手法を提案する。画像スタイルドメイン転送を音楽に適応したもので、主な貢献は構造的忠実性を向上させるために追加の識別器を導入したことである。その結果、人間の聴取者にも聞き取りやすく、かつジャンル分類器を用いた定量的評価も可能な、明確で調和の取れたジャンル転送が実現された。

ABSTRACT

Deep generative models such as Variational Autoencoders (VAEs) and Generative Adversarial Networks (GANs) have recently been applied to style and domain transfer for images, and in the case of VAEs, music. GAN-based models employing several generators and some form of cycle consistency loss have been among the most successful for image domain transfer. In this paper we apply such a model to symbolic music and show the feasibility of our approach for music genre transfer. Evaluations using separate genre classifiers show that the style transfer works well. In order to improve the fidelity of the transformed music, we add additional discriminators that cause the generators to keep the structure of the original music mostly intact, while still achieving strong genre transfer. Visual and audible results further show the potential of our approach. To the best of our knowledge, this paper represents the first application of GANs to symbolic music domain transfer.

研究の動機と目的

• 生成モデルを用いて、記号的音楽における深層ニューラルネットワークベースのドメイン転送を可能にすること。特に、1つのジャンルから別のジャンルへの転送を目的とする。
• 元のメロディーと音楽の構造的整合性を保存することで、元の楽曲の認識可能性を保証すること。
• 補助的識別器を導入して生成器を正則化し、「音楽多様体」上に留まるようにすることで、生成品質を向上させること。
• GANベースの音楽スタイル転送が人間の聴取者にとっても検出可能であることを示すこと。神経ネットワーク分類器による検出性にとどまらない。
• 今後の音楽生成およびスタイル転送分野の研究を支援するため、コードとデータを含む再現可能なフレームワークを提供すること。

提案手法

• MIDI表現を入力とし、音高を主な変換変数とするように、CycleGANアーキテクチャを記号的音楽に適応させる。
• 生成音楽の現実性を、ターゲットドメイン内での評価に加え、入力の構造的保存性の観点からも評価する追加の識別器を導入する。
• 変換元からターゲットへ、そして再び元に戻す際の整合性を保つために、サイクル整合性損失を適用し、コンテンツの保存を確保する。
• 分類器を別個に用いて、ジャンル転送の成功を定量的に評価し、モデルが入力をターゲットジャンルにマッピングする能力を測定する。
• 敵対的損失、サイクル整合性損失、および追加識別器からの知覚的損失を組み合わせ、スタイル転送と構造的忠実性のバランスを取るため、モデルをエンドツーエンドで訓練する。
• 追加識別器の影響を制御するハイパーパrameterを用いて、ジャンル転送の強さとコンテンツ保存のバランスを微調整する。

実験結果

リサーチクエスチョン

• RQ1 構造的整合性を保ちながらジャンル特性を変換できるように、CycleGANを記号的音楽に成功裏に適応できるか？
• RQ2 追加の識別器は、ジャンル転送の強さと元の音楽構造の保存性のバランスにどのように影響するか？
• RQ3 神経ネットワーク分類器による検出性に加え、人間の聴取者にとってもジャンル変更がどのように感知できるか？
• RQ4 ジャズ vs クラシック、ジャズ vs ポップなど、異なるジャンルペアにおいて、モデルの性能はどのように変化するか？
• RQ5 識別器の追加を含むアーキテクチャ的変更が、生成音楽の知覚的品質および調和的整合性に与える影響は何か？

主な発見

• 追加識別器をすべて備えたモデル（M_full）は、クラシック-ポップペアで58.1%の総ドメイン転送スコアを達成し、M_baseおよびM_partialを上回る最高のジャンル転送性能を示した。
• ジャズ-ポップペアでは、M_fullがポップからジャズへの転送率49.24%を達成し、全体的なスコアが低くても効果的なジャンル転送が実現した。
• 人間の聴取者による聴取実験で、音声サンプルにおけるジャンル変更が明確に感知された。これは、分類器による検出性にとどまらず、素人の耳にも聞き取れるという点で、転送が有効であることを裏付けた。
• 識別器の追加により構造的保存性が顕著に向上した。特にクラシックからジャズへの複雑な転送において、M_fullはM_baseよりも一貫してより調和的で整合性の取れた音楽を生成した。
• サイクル整合性と知覚的正則化のおかげで、不協和音やリズミカルな不整合が減少し、より音楽的に妥当な出力が得られた。
• ジャンル分類器を用いた定量的検証により、M_fullが最も強力な転送能力を示した（例：クラシック-ポップペアにおけるA→B→Aサイクルで87.18%の正確性）。