[論文レビュー] Deep Music Analogy Via Latent Representation Disentanglement

Ruihan Yang, Dingsu Wang+4 more|arXiv (Cornell University)|Jun 9, 2019

Music and Audio Processing参考文献 25被引用数 32

ひとこと要約

本論文は、コード進行に条件付けられた明示的に制約された条件付き変分自己符号化器（EC2-VAE）を提案し、8-beatメロディにおける音高とリズムを分離することで潜在因子を転送するアナロジーを可能にし、客観的指標と主観的研究で評価する。

ABSTRACT

Analogy-making is a key method for computer algorithms to generate both natural and creative music pieces. In general, an analogy is made by partially transferring the music abstractions, i.e., high-level representations and their relationships, from one piece to another; however, this procedure requires disentangling music representations, which usually takes little effort for musicians but is non-trivial for computers. Three sub-problems arise: extracting latent representations from the observation, disentangling the representations so that each part has a unique semantic interpretation, and mapping the latent representations back to actual music. In this paper, we contribute an explicitly-constrained variational autoencoder (EC$^2$-VAE) as a unified solution to all three sub-problems. We focus on disentangling the pitch and rhythm representations of 8-beat music clips conditioned on chords. In producing music analogies, this model helps us to realize the imaginary situation of "what if" a piece is composed using a different pitch contour, rhythm pattern, or chord progression by borrowing the representations from other pieces. Finally, we validate the proposed disentanglement method using objective measurements and evaluate the analogy examples by a subjective study.

研究の動機と目的

• 生データの観察値ではなく高レベルの抽象を転送することによってアナロギーに基づく音楽生成を可能にする動機。
• 音高とリズムが明示的な意味をもつよう、分離された潜在空間を開発する。
• 分離が再構成品質を著しく劣化させず、推論時に類似訓練データを使わずにアナロギーを可能にすることを保証する。

提案手法

• 潜在変数 z を z_p（音高）と z_r（リズム）に分離するため、明示的に制約された条件付き変分自己符号化器（EC2-VAE）を用いる。
• エンコーダとデコーダの両方をコード進行で条件付けし、z_r の意味を強制するためにリズムに焦点を当てた中間デコーダタスクを含める。
• 潜在 z を二つの部分に分割し、z_r をリズム特徴と一致するようクロスエントロピーで訓練されたリズムデコーダに接続する。
• 特定の仮定の下で、分離を伴う ELBO 目的関数が標準的な条件付き VAE と同等またはそれ以上に厳密であることを証明する。
• メロディを 8-beat の系列として、130次元のピッチ・オンセット空間と3次元のリズム特徴で表現する。コードはクロマベースの条件として提供。

実験結果

リサーチクエスチョン

• RQ1 VAE フレームワーク内で音楽表現における音高とリズムをどのように明示的に分離できるか？
• RQ2 分離されたモデルは、音高、リズム、またはコード表現を楽曲間で転送することで意味のあるアナロギーを実現できるか？
• RQ3 明示的な分離は再構成品質を損なうか、元の ELBO 目的に近いままでいられるか？
• RQ4 アナロギーを通じた生成の有効性を示す客観的および主観的証拠は何か？

主な発見

音高 - 精度	音高 - 再現率	音高 - F値	リズム - 精度	リズム - 再現率	リズム - F値
EC2-VAE	0.88	0.88	0.88	0.80	0.80	0.80
Random	0.5	0.5	0.5	0.5	0.5	0.5

• EC2-VAE は、デコーダを構造化して音高とリズムの潜在因子を分離することにより、明示的な分離を達成する。
• 分離は再構成品質を保持し、コード条件付けと組み合わせることができ、意味のあるアナロギーを可能にする。
• 客観的指標は音高とリズムの効果的な分離を示す（Δz および F-score ベースの拡張クエリが意図した因子と高い整合を示す）。
• 定性的な例は、他の側面とコード条件付けを保持しつつ z_p（音高）または z_r（リズム）を置換することで成功したアナロジーを示す。
• 主観的評価は、EC2-VAE の変種がルールベースのベースラインやアプローチより創造的で音楽的だが、自然さと全体的な音楽性では元の人間作曲作品にはまだ及ばないことを示している。