[论文解读] A Spectral Regularizer for Unsupervised Disentanglement

Aditya Ramesh, Youngduck Choi+1 more|arXiv (Cornell University)|Dec 4, 2018

Model Reduction and Neural Networks参考文献 24被引用 17

一句话总结

该论文提出了一种谱正则化方法，通过将生成器的雅可比矩阵的顶部右奇异向量与坐标轴对齐，实现生成对抗网络（GANs）中的无监督解耦。通过在潜在空间中迭代追踪主导奇异向量，该方法实现了局部解耦，并引入了一种高效、可扩展的正则化方法，在无需监督或标注数据的情况下实现了最先进水平的解耦性能。

ABSTRACT

A generative model with a disentangled representation allows for independent control over different aspects of the output. Learning disentangled representations has been a recent topic of great interest, but it remains poorly understood. We show that even for GANs that do not possess disentangled representations, one can find curved trajectories in latent space over which local disentanglement occurs. These trajectories are found by iteratively following the leading right-singular vectors of the Jacobian of the generator with respect to its input. Based on this insight, we describe an efficient regularizer that aligns these vectors with the coordinate axes, and show that it can be used to induce disentangled representations in GANs, in a completely unsupervised manner.

研究动机与目标

• 解决在无监督或无标注数据条件下，生成对抗网络中学习解耦表征的挑战。
• 通过生成器雅可比矩阵的主导右奇异向量，识别潜在空间中的局部解耦路径。
• 设计一种高效、可扩展的正则化方法，将这些奇异向量与坐标方向对齐，以实现全局解耦。
• 证明该正则化方法在保持样本保真度的同时，提升了生成对抗网络中的解耦质量。

提出的方法

• 该方法通过在给定潜在点处计算生成器雅可比矩阵的主导右奇异向量，识别局部解耦方向。
• 通过迭代追踪这些奇异向量，在潜在空间中构建轨迹，从而在生成结果中实现可解释的、解耦的变化。
• 构建谱正则化方法，使前k个右奇异向量与前k个标准基向量（坐标方向）对齐。
• 通过可微分且高效的幂迭代方案实现正则化，可并行计算前k个奇异向量，避免顺序依赖。
• 将正则化项整合到生成对抗网络的训练目标中，采用惩罚权重λ，以在优化过程中促进对齐。
• 使用掩码哈达玛积（masked Hadamard product）强制方向对齐，其中掩码s₁、s₂等用于引导优化朝向坐标对齐方向。

实验结果

研究问题

• RQ1 能否通过追踪生成器雅可比矩阵的主导右奇异向量，在生成对抗网络中实现局部解耦？
• RQ2 能否设计一种正则化方法，使这些奇异向量与坐标轴对齐，从而诱导出全局解耦？
• RQ3 所提出的正则化方法在生成对抗网络训练中是否足够高效且可扩展以用于实际应用？
• RQ4 该方法是否在无监督设置下实现了最先进水平的解耦性能？

主要发现

• 生成器雅可比矩阵的主导右奇异向量定义了潜在空间中的轨迹，沿这些轨迹可实现局部解耦。
• 沿这些轨迹移动可在生成图像中产生可解释的、解耦的变化，例如在保持内容不变的同时控制相机角度。
• 所提出的谱正则化方法成功在无标注数据或网络架构修改的情况下，诱导出生成对抗网络中的解耦表征。
• 该方法实现了高质量的解耦性能，定性轨迹显示了稳定且属性特定的变化。
• 由于采用并行化幂迭代计算前k个奇异向量，正则化方法计算效率高，可支持实际训练。