[论文解读] Latent Optimization for Non-adversarial Representation Disentanglement

Aviv Gabbay, Yedid Hoshen|arXiv (Cornell University)|Jun 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 6

一句话总结

本文提出了一种非对抗性解耦方法，通过在风格迁移启发的架构上进行潜在变量优化，分离姿态与内容表征。通过引入两阶段训练策略，该方法在无需对抗训练的情况下实现了最先进（SOTA）的解耦性能，在相同监督水平下优于对抗性与非对抗性基线模型。

ABSTRACT

Disentanglement between pose and content is a key task for artificial intelligence and has attracted much research interest. Current methods for disentanglement include adversarial training and introducing cycle constraints. In this work, we present a novel disentanglement method which does not use adversarial training, achieving state-of-the-art performance. Our method uses latent optimization of an architecture borrowed from style-transfer, to enforce separation of pose and content. We overcome the test generalization issues of latent optimization, by a novel two-stage approach. In extensive experiments, our method is shown to achieve better disentanglement performance than both adversarial and non-adversarial methods that use the same level of supervision.

研究动机与目标

• 解决深度生成模型中姿态与内容表征解耦的挑战。
• 克服潜在变量优化方法通常在推理时泛化能力差的问题。
• 开发一种避免对抗训练但性能可匹配或超越对抗方法的解耦框架。
• 在与先前方法相同的监督水平下，实现更优的解耦性能。

提出的方法

• 采用风格迁移启发的架构，以支持解耦表征学习。
• 使用潜在变量优化，显式正则化潜在空间以实现姿态-内容分离。
• 引入两阶段训练流程，以提升推理时的泛化能力。
• 使用重建损失保留内容，同时优化潜在码以实现姿态解耦。
• 通过仅依赖潜在空间中的优化正则化，避免对抗训练。
• 利用共享编码器-解码器结构，并结合解耦潜在码优化，实现身份与姿态的解耦。

实验结果

研究问题

• RQ1 非对抗性方法是否能在不使用对抗损失的情况下实现最先进（SOTA）的解耦性能？
• RQ2 当推理时泛化能力成为挑战时，潜在变量优化在解耦姿态与内容方面的有效性如何？
• RQ3 两阶段训练策略是否能提升潜在变量优化在推理时的性能？
• RQ4 在相同监督水平下，所提方法是否优于对抗性与非对抗性基线模型？

主要发现

• 所提方法在不使用对抗训练的情况下实现了最先进（SOTA）的解耦性能。
• 两阶段训练策略相比标准潜在变量优化，显著提升了推理时的泛化能力。
• 在相同监督水平下评估时，该方法优于对抗性与非对抗性基线模型。
• 解耦质量持续优于先前的非对抗性方法，尤其在姿态-身份解耦方面表现更优。
• 模型在实现高解耦性的同时保持了强大的重建质量，表明在保真度与解耦性之间实现了有效权衡。
• 消融研究证实，两阶段训练对泛化至关重要，验证了其设计选择的合理性。