[论文解读] Latent Space Factorisation and Manipulation via Matrix Subspace Projection

Xiao Li, Chenghua Lin+3 more|arXiv (Cornell University)|Jul 26, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 12

一句话总结

本文提出矩阵子空间投影（MSP），一种简单、即插即用的方法，通过将潜在空间中的标签属性投影到正交子空间，实现无需对抗训练或复杂损失加权的干净、独立属性操作。MSP 在图像和文本任务中均实现了最先进的解耦效果与条件生成质量，且对非目标属性的干扰极小。

ABSTRACT

We tackle the problem disentangling the latent space of an autoencoder in order to separate labelled attribute information from other characteristic information. This then allows us to change selected attributes while preserving other information. Our method, matrix subspace projection, is much simpler than previous approaches to latent space factorisation, for example not requiring multiple discriminators or a careful weighting among their loss functions. Furthermore our new model can be applied to autoencoders as a plugin, and works across diverse domains such as images or text. We demonstrate the utility of our method for attribute manipulation in autoencoders trained across varied domains, using both human evaluation and automated methods. The quality of generation of our new model (e.g. reconstruction, conditional generation) is highly competitive to a number of strong baselines.

研究动机与目标

• 解决在自动编码器潜在空间中将标签属性与其他特征信息解耦以实现可控生成的挑战。
• 克服对抗方法所需复杂损失加权、多个判别器以及训练不稳定的局限性。
• 开发一种通用、即插即用的解决方案，兼容多种自动编码器（如VAE、seq2seq）并适用于图像和文本等多样化领域。
• 确保属性操作仅影响目标属性，最大限度减少对非目标属性的意外影响。
• 通过在潜在空间中隔离解释性因子，实现高质量的条件生成与重构。

提出的方法

• MSP 使用学习得到的矩阵 M 将潜在空间投影到正交子空间，其中每一列表示一个标签属性，从而确保属性之间的解耦。
• 通过正则化损失训练 M 尽量保持正交性，使 M^T M 尽可能接近单位矩阵。
• 从 M 构建零空间以保留非属性信息，形成潜在空间的完整基。
• 该方法作为插件应用于现有自动编码器，仅修改潜在空间的投影方式，不改变原始模型架构。
• 在图像生成中，添加 PatchGAN 判别器以提升解码器生成图像的清晰度。
• 通过仅操纵特定属性子空间，同时保留其他潜在分量，实现条件生成。

实验结果

研究问题

• RQ1 是否可通过一种简单、非对抗的方法，在自动编码器潜在空间中实现多个标签属性的解耦，而无需复杂损失加权或辅助网络？
• RQ2 MSP 在多大程度上实现了属性信息的隔离，使得改变一个属性不会意外影响其他非目标属性？
• RQ3 MSP 在不同自动编码器架构及图像与文本等不同领域中的泛化能力如何？
• RQ4 与强对抗基线相比，MSP 在重建与条件生成质量方面是否具有竞争力？
• RQ5 MSP 在学习到的投影矩阵 M 中保持正交性的效果如何，能否确保属性之间最小程度的纠缠？

主要发现

• MSP 实现了卓越的解耦效果，对非目标属性影响极小——例如在 CelebA 中改变性别仅导致胡须属性变化 0.03%，而 Fader 模型则达到 12.5%。
• 该方法显著减少了意外属性变化：在图像编辑中，MSP 避免了 RelGAN 和 Fader 模型中常见的肤色与眼睛颜色变化。
• 人工评估确认，MSP 生成的图像在目标属性变化上更忠实，且受无关属性污染更少，优于基线模型。
• 定量评估显示，MSP 的属性操作对非目标属性的干扰更低（例如改变性别时胡须属性仅变化 0.03%），优于 Fader（12.5%）和 RelGAN（10.2%）。
• M^T M 和 U^T U 的热力图表明 M 几乎正交，仅在冲突属性组合（如发际线后移 × 光头 × 刘海）中存在轻微纠缠。
• 在 E2E 语料库的文本生成任务中，MSP 有效替换了餐厅名称与评分等属性，同时保留其他词语，证明了其跨领域的适用性。