[论文解读] GAN-based Generation and Automatic Selection of Explanations for Neural Networks

Saumitra Mishra, Daniel Stoller+3 more|arXiv (Cornell University)|Apr 21, 2019

Explainable Artificial Intelligence (XAI)参考文献 26被引用 6

一句话总结

该论文提出了一种基于生成对抗网络（GAN）的方法，用于生成逼真且可解释的输入，以解释深度神经网络（DNN）的激活情况，采用一种新颖的FID基准度量方法自动选择最优超参数。该方法无需人工检查，即可实现高效、可扩展的DNN解释生成，成功捕捉了歌唱语音分类器中的语音与非语音音频特征。

ABSTRACT

One way to interpret trained deep neural networks (DNNs) is by inspecting characteristics that neurons in the model respond to, such as by iteratively optimising the model input (e.g., an image) to maximally activate specific neurons. However, this requires a careful selection of hyper-parameters to generate interpretable examples for each neuron of interest, and current methods rely on a manual, qualitative evaluation of each setting, which is prohibitively slow. We introduce a new metric that uses Fréchet Inception Distance (FID) to encourage similarity between model activations for real and generated data. This provides an efficient way to evaluate a set of generated examples for each setting of hyper-parameters. We also propose a novel GAN-based method for generating explanations that enables an efficient search through the input space and imposes a strong prior favouring realistic outputs. We apply our approach to a classification model trained to predict whether a music audio recording contains singing voice. Our results suggest that this proposed metric successfully selects hyper-parameters leading to interpretable examples, avoiding the need for manual evaluation. Moreover, we see that examples synthesised to maximise or minimise the predicted probability of singing voice presence exhibit vocal or non-vocal characteristics, respectively, suggesting that our approach is able to generate suitable explanations for understanding concepts learned by a neural network.

研究动机与目标

• 解决在DNN解释的激活最大化过程中，人工调整超参数所导致的低效与主观性问题。
• 开发一种自动、定量的度量方法，用于评估生成解释的可解释性。
• 利用GAN作为强先验，生成逼真且有意义的输入，以最大程度激活特定神经元。
• 实现在无需为每个模型或层重新训练的前提下，对DNN组件进行可扩展的、事后解释。
• 在真实世界的音频分类任务上验证该方法，证明其能够捕捉到如歌唱语音存在等语义概念。

提出的方法

• 训练一个GAN生成器，以生成逼真的输入样本（例如，梅尔频谱图）作为激活最大化的先验。
• 优化生成器，使其在保持在学习到的先验分布下高似然性的同时，最大化目标神经元或层的激活。
• 采用一种基于Fréchet Inception Distance（FID）的新颖评估度量，比较真实数据与生成数据的分布，从而实现超参数的自动选择。
• 通过FID分数对学习率和权重衰减等超参数进行调优，以识别生成最具可解释性的输出的配置。
• 通过最大化或最小化输出神经元激活，分别生成正样本和负样本，以探索分类器所学习的概念。
• 将该方法应用于预训练的歌唱语音检测模型，并通过生成频谱图的定性分析评估其可解释性。

实验结果

研究问题

• RQ1 基于GAN的生成器能否有效生成逼真且可解释的输入，以解释DNN神经元的激活？
• RQ2 所提出的基于FID的度量是否能可靠地对激活最大化的超参数配置进行排序，而无需人工评估？
• RQ3 该方法能否生成反映语义概念（如歌唱语音）的有意义正负样本？
• RQ4 与手工设计或基于自编码器的先验相比，使用学习到的GAN先验在输出质量和可解释性方面表现如何？
• RQ5 该方法在不重新训练的前提下，能否在相同输入域的不同模型之间实现良好泛化？

主要发现

• 基于FID的度量成功识别出最优超参数配置（C₁），该配置生成的样本在视觉质量与激活一致性方面均优于其他设置，表现出多样性、逼真性和可解释性。
• 最优配置（C₁）对初始GAN输出仅产生微小改动，同时保持了高现实感并有效提升了神经元激活，表明其与先验具有强对齐性。
• 通过最大化输出神经元激活生成的正样本表现出强烈的谐波成分，低频能量减少，瞬态成分较少——这些特征典型属于歌唱语音。
• 通过最小化激活生成的负样本表现出更高的低音能量和更多瞬态成分，表明成功生成了类似乐器、非人声的音频。
• 在极端配置下，目标神经元的响应值达到最高（高达78），但因光谱能量不真实且感知质量差，被判定为无效。
• 定性分析表明，生成的样本与分类器所训练识别的语义概念一致，表明该方法能够捕捉到有意义的表征。