[论文解读] Demystifying Inter-Class Disentanglement

Aviv Gabbay, Yedid Hoshen|arXiv (Cornell University)|Jun 27, 2019

Digital Media Forensic Detection参考文献 29被引用 9

一句话总结

本文提出LORD，一种非对抗性方法，用于类别监督的图像解缠，通过共享潜在优化和非对称噪声正则化实现最先进水平的解缠性能。通过在训练过程中优化特定类别的潜在码，并将其蒸馏到前馈编码器中，该方法实现了对未见图像的快速、可泛化的推理，同时最小化了类别与内容表征之间的信息泄露。

ABSTRACT

Learning to disentangle the hidden factors of variations within a set of observations is a key task for artificial intelligence. We present a unified formulation for class and content disentanglement and use it to illustrate the limitations of current methods. We therefore introduce LORD, a novel method based on Latent Optimization for Representation Disentanglement. We find that latent optimization, along with an asymmetric noise regularization, is superior to amortized inference for achieving disentangled representations. In extensive experiments, our method is shown to achieve better disentanglement performance than both adversarial and non-adversarial methods that use the same level of supervision. We further introduce a clustering-based approach for extending our method for settings that exhibit in-class variation with promising results on the task of domain translation.

研究动机与目标

• 解决现有解缠方法中类别与内容表征之间存在的信息泄露问题。
• 开发一种非对抗性、可扩展的方法，用于从图像的内容变化中解缠类别身份。
• 通过两阶段近似化过程，实现在未见图像上的快速、可泛化推理。
• 将解缠扩展至高类别数设置（例如10,000个类别）以及类内风格变化，通过聚类实现。
• 证明感知损失和非对称正则化相较于对抗性或KL约束更为有效。

提出的方法

• 利用潜在优化，为每个类别学习一个单一的共享潜在码，以最小化样本间差异并减少信息泄露。
• 对内容码应用非对称噪声正则化，以强制实现类别不变性并提升解缠效果。
• 采用两阶段训练流程：第一阶段，通过潜在优化训练共享的类别码和内容码；第二阶段，训练前馈编码器以实现对新测试图像的泛化。
• 使用感知损失（ImageNet预训练）以提升重建质量，并在潜在优化过程中稳定训练。
• 引入基于聚类的扩展方法，以解缠类内风格变化，实现人脸与动漫等图像域之间的域迁移。
• 避免对抗性训练，转而依赖结构化正则化和优化来实现解缠。

实验结果

研究问题

• RQ1 共享潜在优化是否能优于近似推理，在学习解缠的类别与内容表征方面表现更优？
• RQ2 非对称噪声正则化是否能比对抗性约束或KL散度带来更好的解缠效果？
• RQ3 两阶段近似化流程是否能实现在潜在优化后对未见测试图像的快速、可泛化推理？
• RQ4 该方法在高类别数设置（如10,000个类别）下的有效性如何？
• RQ5 基于聚类的风格解缠是否能实现图像域之间（如人脸与动漫）的有效域迁移？

主要发现

• LORD在对抗性与非对抗性基线方法中均实现了最先进水平的解缠性能，优于β-VAE、Factor-VAE和cycle-GAN等方法。
• 潜在优化显著减少了内容码向类别表征中的信息泄露，表现为从内容码中获得的类别分类准确率接近零。
• 该方法即使在10,000个类别的设置下也能实现高质量的解缠，展现出良好的可扩展性。
• 第二阶段近似化流程显著提升了未见图像的推理速度和泛化能力，优于测试时直接进行潜在优化。
• 非对称噪声正则化在减少类别信息泄露到内容码方面，优于KL散度和对抗性约束。
• 基于聚类的扩展方法实现了人脸与动漫之间有效的域迁移，证明了其对类内风格变化的鲁棒性。