[论文解读] DualDis: Dual-Branch Disentangling with Adversarial Learning

Thomas Robert, Nicolas Thome+1 more|arXiv (Cornell University)|Jun 3, 2019

Digital Media Forensic Detection参考文献 45被引用 4

一句话总结

DualDis 提出一种双分支自编码器，结合对抗性训练，将类别和属性信息解耦到独立的线性潜在子空间中。通过使用对抗性分类器强制实现正交分离，该方法实现了精确的语义图像编辑和高效的半监督数据增强，在 Yale-B 数据集上使用生成数据时实现了 SOTA 的解耦效果和 10% 的准确率提升。

ABSTRACT

In computer vision, disentangling techniques aim at improving latent representations of images by modeling factors of variation. In this paper, we propose DualDis, a new auto-encoder-based framework that disentangles and linearizes class and attribute information. This is achieved thanks to a two-branch architecture forcing the separation of the two kinds of information, accompanied by a decoder for image reconstruction and generation. To effectively separate the information, we propose to use a combination of regular and adversarial classifiers to guide the two branches in specializing for class and attribute information respectively. We also investigate the possibility of using semi-supervised learning for an effective disentangling even using few labels. We leverage the linearization property of the latent spaces for semantic image editing and generation of new images. We validate our approach on CelebA, Yale-B and NORB by measuring the efficiency of information separation via classification metrics, visual image manipulation and data augmentation.

研究动机与目标

• 开发一种解耦表征学习框架，显式分离图像数据中的身份（类别）和视觉属性信息。
• 通过对抗性训练，在潜在空间中强制实现类别和属性因素之间的正交性。
• 线性化每个潜在子空间中的变化因素，以实现有效的语义图像操作和生成。
• 在有限标注数据下实现半监督学习，同时保持强解耦性能。
• 通过语义数据增强展示其实际应用价值，提升下游分类准确率。

提出的方法

• DualDis 采用双分支编码器-解码器架构，其中一条分支编码身份（类别），另一条分支编码属性，每条分支均由专用分类器引导。
• 训练对抗性分类器以检测每个潜在空间中另一域的信息，迫使编码器去除跨域信号，从而实现解耦。
• 重建损失确保解码器能够从组合的潜在码生成逼真的图像。
• 使用线性分类器引导每个潜在子空间中因素的线性化，实现通过向量运算进行语义导航。
• 通过在训练中利用未标注数据，应用半监督学习以减少标注依赖。
• 通过沿学习到的线性方向修改属性潜在码，实现图像编辑，同时保持身份不变。

实验结果

研究问题

• RQ1 对抗性训练能否有效解耦共享图像表征中的类别和属性因素？
• RQ2 在潜在子空间之间强制实现正交性是否能提升解耦质量及下游分类准确率？
• RQ3 线性化的潜在空间在多大程度上能通过向量运算实现精确的语义图像编辑？
• RQ4 DualDis 能否在有限标注数据下通过半监督学习实现强解耦性能？
• RQ5 模型生成的图像能否通过语义数据增强提升身份分类的准确率？

主要发现

• DualDis 在 CelebA 数据集上实现了 SOTA 的解耦性能，对身份和属性的分类准确率均较高。
• 在 Yale-B 数据集上，使用每类 60 张生成图像进行数据增强，使身份分类准确率提升了近 10 个百分点。
• 该模型通过沿学习到的线性方向修改属性（如性别、眼镜、微笑强度），成功实现了语义图像编辑。
• 将一张图像的身份与另一张图像的属性混合，生成了合理且语义一致的结果，证实了解耦的有效性。
• 半监督训练在标注数据有限的情况下仍保持了强解耦性能，表现出对标注稀缺的鲁棒性。
• 线性化的潜在空间实现了对属性变化的细粒度控制，例如调节微笑强度或发色。