[论文解读] Counterfactuals uncover the modular structure of deep generative models

Michel Besserve, Arash Mehrjou+2 more|arXiv (Cornell University)|Dec 8, 2018

Generative Adversarial Networks and Image Synthesis参考文献 39被引用 28

一句话总结

本文提出了一种反事实干预框架，用于在无监督条件下揭示深度生成模型中的模块化、解耦表示。通过操纵网络各层的内部隐藏单元，该方法识别出控制特定图像属性的可解释模块，从而实现目标图像编辑与鲁棒性评估，且质量退化最小。

ABSTRACT

Deep generative models can emulate the perceptual properties of complex image datasets, providing a latent representation of the data. However, manipulating such representation to perform meaningful and controllable transformations in the data space remains challenging without some form of supervision. While previous work has focused on exploiting statistical independence to disentangle latent factors, we argue that such requirement is too restrictive and propose instead a non-statistical framework that relies on counterfactual manipulations to uncover a modular structure of the network composed of disentangled groups of internal variables. Experiments with a variety of generative models trained on complex image datasets show the obtained modules can be used to design targeted interventions. This opens the way to applications such as computationally efficient style transfer and the automated assessment of robustness to contextual changes in pattern recognition systems.

研究动机与目标

• 解决在无监督条件下解释和控制深度生成模型潜在表示的挑战。
• 克服基于统计独立性的解耦方法的局限性，因为当因子之间存在统计依赖时，该方法会失效。
• 开发一种因果框架，通过基于干预的分析揭示生成网络中的内在模块性。
• 实现无需微调或优化的目标图像操作，如风格迁移与鲁棒性评估。
• 提供一种可扩展的无监督方法，适用于高分辨率模型（如在ImageNet上训练的BigGAN）。

提出的方法

• 在因果框架中定义解耦，通过在训练好的生成模型内部变量上施加反事实干预。
• 通过修改中间层中的特定隐藏单元（通道）实施干预，同时保持其他组件固定。
• 使用混合化程序，通过跨层混合内部表征，将不同样本的特征相结合。
• 使用Fréchet Inception Distance（FID）评估图像质量，确保反事实编辑后质量退化最小。
• 通过测量在反事实图像上使用模块干预生成的图像的识别准确率，评估分类器的鲁棒性。
• 将该方法应用于多种架构，包括VAEs、GANs、BEGAN和BigGAN，覆盖CelebA和ImageNet等数据集。

实验结果

研究问题

• RQ1 反事实干预是否能在无需标注或语义监督的情况下，揭示深度生成模型中的模块化、解耦表示？
• RQ2 对内部隐藏单元的干预如何影响生成图像属性的可解释性与可控性？
• RQ3 通过反事实方法揭示的模块化结构在不重新训练的情况下，能在多大程度上用于生成高质量混合图像（如物体-背景互换）？
• RQ4 生成模型的模块化结构与下游分类器在上下文变化下的鲁棒性之间有何关联？
• RQ5 所提出的方法是否可扩展至高分辨率、复杂模型（如在ImageNet上训练的BigGAN）？

主要发现

• 该方法成功识别出在CelebA和ImageNet上训练的VAEs与GANs中的可解释模块，每个模块负责控制特定图像属性，如头发、面部特征或背景。
• 通过模块干预进行的反事实编辑可生成高质量混合图像（如考拉环境中的泰迪熊，或公鸡头的鸵鸟），与原始样本相比FID退化极小。
• 分类器鲁棒性分析表明，当从中间层生成反事实图像时，原始类别上的识别准确率提高，尤其在BigGAN的第5–6层块中表现显著。
• 不同最先进分类器对反事实变化的敏感性不同，表明其依赖于不同的图像组件（如物体与背景），这一结论由非一致分类结果揭示。
• 该框架实现了计算高效的风格迁移与鲁棒性评估，无需额外优化，展示了超越可解释性的实际应用价值。
• 该方法在架构与数据集之间具有泛化能力，包括在ImageNet上的BigGAN，证实其可扩展至复杂、高分辨率的生成模型。