[论文解读] Dual Swap Disentangling

Zunlei Feng|arXiv (Cornell University)|May 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 14

一句话总结

本文提出双交换解缠（Dual Swap Disentangling, DSD），一种弱半监督方法，仅通过有限的标注成对样本（指示共享属性，如颜色）和大量未标注成对样本，学习解缠且可解释的表征。通过应用双阶段‘编码-交换-解码’过程——对标注数据仅交换一次共享属性编码，对未标注数据交换两次——DSD 强制实现维度级模块化与可移植性，以极低的人工标注成本实现最先进水平的解缠性能。

ABSTRACT

Learning interpretable disentangled representations is a crucial yet challenging task. In this paper, we propose a weakly semi-supervised method, termed as Dual Swap Disentangling (DSD), for disentangling using both labeled and unlabeled data. Unlike conventional weakly supervised methods that rely on full annotations on the group of samples, we require only limited annotations on paired samples that indicate their shared attribute like the color. Our model takes the form of a dual autoencoder structure. To achieve disentangling using the labeled pairs, we follow a "encoding-swap-decoding" process, where we first swap the parts of their encodings corresponding to the shared attribute and then decode the obtained hybrid codes to reconstruct the original input pairs. For unlabeled pairs, we follow the "encoding-swap-decoding" process twice on designated encoding parts and enforce the final outputs to approximate the input pairs. By isolating parts of the encoding and swapping them back and forth, we impose the dimension-wise modularity and portability of the encodings of the unlabeled samples, which implicitly encourages disentangling under the guidance of labeled pairs. This dual swap mechanism, tailored for semi-supervised setting, turns out to be very effective. Experiments on image datasets from a wide domain show that our model yields state-of-the-art disentangling performances.

研究动机与目标

• 解决在极低人类监督下学习可解释、解缠表征的挑战。
• 克服完全监督方法所需昂贵强标注的局限，以及无监督方法生成不可解释编码的缺陷。
• 仅通过指示共享属性（如颜色）的弱标注成对样本，实现有效解缠，降低标注成本。
• 通过新颖的双阶段自监督机制利用未标注数据，提升泛化能力和解缠质量。

提出的方法

• 提出双自编码器架构，包含两个阶段：第一阶段处理标注和未标注数据，第二阶段仅处理未标注数据。
• 对于标注成对样本，通过仅交换对应共享属性（如颜色）的编码维度执行‘编码-交换-解码’，随后重建原始输入。
• 对于未标注成对样本，执行两次‘编码-交换-解码’过程：首次交换共享属性编码，再将其换回，以强制一致性与模块化。
• 使用重建损失确保仅交换共享属性即可保持输入身份，促进指定编码维度中的解缠。
• 对每个属性采用多维编码，不强制独立性，以增强表达能力与语义控制力。
• 通过双重交换实现未标注数据的自监督机制，隐式鼓励解缠。

实验结果

研究问题

• RQ1 能否仅使用指示共享属性的弱标注成对样本（而非完整属性标注）有效学习解缠表征？
• RQ2 双交换机制在未标注数据中对编码表征实现维度级模块化与可移植性的有效性如何？
• RQ3 当与少量标注成对样本结合时，未标注数据在多大程度上能提升解缠性能？
• RQ4 与单次交换或无交换基线相比，双交换机制在解缠质量与编码可解释性方面是否表现更优？
• RQ5 该方法能否在极低监督下泛化至多样化图像领域，且无需过度约束编码独立性？

主要发现

• DSD 在多个来自不同领域的图像数据集上实现最先进水平的解缠性能，即使在极低监督下亦然。
• 仅使用 20% 的成对样本进行标注时，DSD 的分类准确率即可媲美使用 100% 标注数据训练的模型，展现出极高的数据效率。
• 双交换机制显著提升了解缠质量：由 DSD 生成的混合图像能保留属性特异性特征（如数字身份），同时舍弃无关特征（如角度），而仅使用主干网络的框架则无法实现。
• 在不同监督率（0.0 至 1.0）下训练显示性能稳定收敛且退化极小，表明对低监督的鲁棒性。
• 双框架在重建损失与编码分类准确率方面始终优于主干框架，证实双重交换的有效性。
• 可视化结果表明，DSD 成功将共享属性（如数字身份）隔离至特定编码维度，实现精确操控与解缠。