[论文解读] Explaining in Style: Training a GAN to explain a classifier in StyleSpace

Oran Lang, Yossi Gandelsman+9 more|arXiv (Cornell University)|Apr 27, 2021

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 10

一句话总结

StylEx 训练一个 StyleGAN，以在 StyleSpace 中生成与分类器相关的、解耦的属性，通过可控的、人类可解释的反事实来解释图像分类器的决策。通过将 GAN 训练条件化于分类器梯度，它发现了直接影响预测结果的语义上有意义的属性（例如，眼睛形状、耳朵姿态），在年龄和性别分类器上，仅使用前 10 个属性即可实现高达 93.9% 的预测翻转率。

ABSTRACT

Image classification models can depend on multiple different semantic attributes of the image. An explanation of the decision of the classifier needs to both discover and visualize these properties. Here we present StylEx, a method for doing this, by training a generative model to specifically explain multiple attributes that underlie classifier decisions. A natural source for such attributes is the StyleSpace of StyleGAN, which is known to generate semantically meaningful dimensions in the image. However, because standard GAN training is not dependent on the classifier, it may not represent these attributes which are important for the classifier decision, and the dimensions of StyleSpace may represent irrelevant attributes. To overcome this, we propose a training procedure for a StyleGAN, which incorporates the classifier model, in order to learn a classifier-specific StyleSpace. Explanatory attributes are then selected from this space. These can be used to visualize the effect of changing multiple attributes per image, thus providing image-specific explanations. We apply StylEx to multiple domains, including animals, leaves, faces and retinal images. For these, we show how an image can be modified in different ways to change its classifier output. Our results show that the method finds attributes that align well with semantic ones, generate meaningful image-specific explanations, and are human-interpretable as measured in user-studies.

研究动机与目标

• 解决深度图像分类器缺乏人类可解释的、多属性反事实解释的问题。
• 在生成模型的潜在空间中发现解耦的、语义上有意义的属性，这些属性可直接影响分类器决策。
• 通过生成仅改变一个属性的反事实示例，实现图像特定的解释。
• 通过解耦的、分类器感知的生成方法，提升高风险领域（如医学影像和自动驾驶系统）中的模型可解释性。

提出的方法

• 使用包含预训练分类器梯度的条件损失训练 StyleGAN，使生成器的 StyleSpace 与分类器相关的属性对齐。
• 利用基于梯度的显著性方法，识别影响给定输入图像分类器输出的最关键 StyleSpace 坐标。
• 通过扰动单个 StyleSpace 坐标而固定其他坐标，生成反事实图像，从而实现对属性影响的受控可视化。
• 开展两部分用户研究以评估属性的区分度和连贯性：(1) 从图像对中识别属性，(2) 描述动画属性变化。
• 通过测试修改前 k 个属性时分类器预测翻转的频率，衡量属性的充分性。
• 引入分类器特定的训练组件（CST），防止模式崩溃，并确保属性与分类器相关，尤其在视网膜成像等细微领域中。

实验结果

研究问题

• RQ1 能否训练一个生成模型，以在潜在空间中发现解耦的、语义上有意义的属性，这些属性可直接影响分类器的决策？
• RQ2 这些属性能否用于生成在视觉上连贯且人类可解释的反事实示例？
• RQ3 分类器特定的训练组件在低可见度领域中如何提升属性的相关性和模型性能？
• RQ4 所发现的属性在包括医学影像和细粒度视觉类别在内的多样化图像领域中，能在多大程度上解释分类器的决策？

主要发现

• StylEx 发现的属性具有高度一致性和区分度：在感知性别方面，用户在 96% 的情况下正确识别出前 6 个属性；在感知年龄方面，正确识别率高达 98.3%。
• 与 Wu 等人的基线方法相比，该方法在属性连贯性方面表现显著更优，在猫狗数据集和感知年龄上的准确率分别达到 93.3% 和 98.3%。
• StylEx 仅使用前 10 个属性，就在感知年龄分类器上实现了 93.9% 的预测翻转率，而 Wu 等人的方法仅为 16.9%，证明了其属性充分性的优越性。
• 在视网膜领域，StylEx 使用前 10 个属性实现了 100% 的翻转率，而无分类器特定训练（CST）的基线方法完全失败（翻转率为 0%），证明了 CST 的必要性。
• 在植物领域，StylEx 实现了 91.2% 的翻转率，显著优于 Wu 等人（14.6%），且用户研究证实 StylEx 的属性更易被一致描述且具有更强的感知区分度。
• 用户研究证实，StylEx 的属性不仅具有区分度，还具有显著的感知显著性：93.3% 的用户正确识别出猫狗图像中的首要属性，且 100% 的用户在描述感知年龄的首要坐标时使用了“戴眼镜”这一描述。