[论文解读] Learning to Explain: An Information-Theoretic Perspective on Model Interpretation

Jianbo Chen, Le Song+2 more|arXiv (Cornell University)|Feb 21, 2018

Machine Learning and Data Classification被引用 274

一句话总结

本文提出了一个按实例选择特征的选择器，该选择学习到的特征子集与模型输出之间的互信息最大化，使用变分下界和连续松弛以实现高效训练与解释。

ABSTRACT

We introduce instancewise feature selection as a methodology for model interpretation. Our method is based on learning a function to extract a subset of features that are most informative for each given example. This feature selector is trained to maximize the mutual information between selected features and the response variable, where the conditional distribution of the response variable given the input is the model to be explained. We develop an efficient variational approximation to the mutual information, and show the effectiveness of our method on a variety of synthetic and real data sets using both quantitative metrics and human evaluation.

研究动机与目标

• 将按实例的特征选择定义为为每个实例选择一组能告知模型输出的特征子集。
• 提出一个信息理论目标，最大化所选特征与模型输出之间的互信息。
• 开发一个可处理的变分下界以及基于神经网络的解释器以实现高效训练。
• 在合成数据和真实数据集上通过定量指标和人工评估展示效果和效率。

提出的方法

• 将解释表述为在输入 X 上选择一个 k 特征子集 S，以最大化 I(X_S; Y)。
• 引入基于 Y|X_S 的分布族 Q 的互信息变分下界。
• 用单个神经网络 g_alpha 对 Q 进行参数化，以建模 P_m(Y|X_S)。
• 使用连续松弛（Gumbel-Softmax / Concrete）来对子集 S 进行采样，并实现可微分优化。
• 通过随机梯度方法联合优化解释器参数 theta 与模型近似参数 alpha。
• 后续通过根据学习得到的权重 w_theta(X) 对特征进行排序，并选择前 k 个特征来解释。

实验结果

研究问题

• RQ1 是否可以学习出在每个实例上最大化与模型输出之间互信息的按实例特征子集？
• RQ2 可处理的变分下界是否足以训练一个对模型无关且推理阶段高效的解释器？
• RQ3 所提的 L2X 方法在准确性和速度方面是否优于现有的按实例解释方法？
• RQ4 该方法在合成非线性数据和真实世界数据集（文本和图像）上的解释质量与人工对齐方面表现如何？

主要发现

• 在非线性和切换特征数据集上，L2X 在特征排序质量方面优于基线方法（Saliency、DeepLIFT、SHAP、LIME）。
• 该方法在后验准确性方面具有竞争力或更优，并在情感分析和 MNIST 实验中与人类判断高度一致。
• L2X 在解释阶段更高效，只需对每个实例执行一次前向传播即可生成解释。
• 随着数据规模的增加，训练时间在总时间中的比重变小，提升相对效率。
• 该方法在保持对原始模型预测高度保真的同时实现模型无关的解释。