[论文解读] Is Disentanglement enough? On Latent Representations for Controllable Music Generation

Ashis Pati, Alexander Lerch|arXiv (Cornell University)|Aug 1, 2021

Music and Audio Processing被引用 6

一句话总结

本文研究了基于变分自编码器（VAE）的音乐生成模型中，解耦表示是否能实现真正的可控性。尽管监督式解耦方法实现了较高的解耦程度，但本研究发现，可控性在很大程度上取决于生成解码器的结构和潜在空间的连续性，而不仅仅是解耦本身，强调即使解耦程度很高，潜在空间中的‘空洞’以及解码器设计的缺陷仍会严重限制属性操控能力。

ABSTRACT

Improving controllability or the ability to manipulate one or more attributes of the generated data has become a topic of interest in the context of deep generative models of music. Recent attempts in this direction have relied on learning disentangled representations from data such that the underlying factors of variation are well separated. In this paper, we focus on the relationship between disentanglement and controllability by conducting a systematic study using different supervised disentanglement learning algorithms based on the Variational Auto-Encoder (VAE) architecture. Our experiments show that a high degree of disentanglement can be achieved by using different forms of supervision to train a strong discriminative encoder. However, in the absence of a strong generative decoder, disentanglement does not necessarily imply controllability. The structure of the latent space with respect to the VAE-decoder plays an important role in boosting the ability of a generative model to manipulate different attributes. To this end, we also propose methods and metrics to help evaluate the quality of a latent space with respect to the afforded degree of controllability.

研究动机与目标

• 探究潜在表征中的高解耦是否能带来符号音乐生成中的有效可控性。
• 评估不同监督式解耦方法对生成过程中属性操控的影响。
• 识别潜在空间中的结构性限制（尤其是‘空洞’），这些限制即使在强解耦下也会阻碍可控性。
• 提出并验证一种新度量（LDR），用于量化潜在空间连续性与可控性之间的关系。
• 强调解码器设计与生成建模质量与编码器解耦程度同等重要，对于实现可控音乐生成至关重要。

提出的方法

• 使用三种监督式解耦方法（I-VAE、AR-VAE 和 S2-VAE）训练 VAE，每种方法均对潜在空间施加特定属性的正则化。
• 采用联合损失函数：L = L_VAE + γ·L_reg，其中 γ 控制特定属性（如调式、琶音方向）正则化的强度。
• 沿正则化后的潜在维度进行遍历，生成音乐，并通过定性与定量分析评估可控性。
• 提出潜在不连续率（LDR）度量，用于量化破坏可预测属性操控的潜在空间中的‘空洞’。
• 系统性地比较解耦程度（通过 MIG 和 dci 等指标衡量）与可控性（通过生成样本中属性的一致性与可预测性衡量）。
• 在包含调式、琶音方向与音符密度等属性的符号音乐数据上评估模型，结合定性样本与定量指标。

实验结果

研究问题

• RQ1 潜在空间中的高解耦在多大程度上能转化为对特定音乐属性的有效操控？
• RQ2 不同监督式解耦方法（I-VAE、AR-VAE、S2-VAE）在实现可预测且独立的属性控制方面有何差异？
• RQ3 生成解码器的结构在实现或限制可控性方面起到何种作用，即使解耦程度很强？
• RQ4 潜在空间中的‘空洞’如何影响生成过程中属性操控的可预测性与一致性？
• RQ5 新度量（LDR）是否能有效量化影响可控性的潜在空间不连续性？

主要发现

• 三种监督式解耦方法均实现了高解耦分数（例如 MIG > 0.8），表明潜在空间中潜在因素的强分离。
• 尽管解耦性能相似，可控性却存在显著差异：AR-VAE 与 S2-VAE 实现了可预测且一致的属性变化，而 I-VAE 在琶音方向上表现出不一致且不可预测的变化。
• I-VAE 方法生成的旋律违反了调式约束（例如，生成了目标调式之外的音符），表明对调式属性的控制能力差。
• 潜在空间中的‘空洞’导致遍历过程中出现不可预测的属性变化，例如即使经过正则化，仍会生成具有未见过的琶音方向的和弦。
• LDR 度量成功量化了潜在空间中的不连续性，显示出高 LDR 与差的可控性之间存在强相关性。
• 本研究结论为：仅靠解耦不足以实现可控性；生成解码器将潜在向量映射为有意义、连续且一致的音乐输出的能力，与编码器的解耦程度同等关键。