[论文解读] Interpretation of Prediction Models Using the Input Gradient

Yotam Hechtlinger|arXiv (Cornell University)|Nov 23, 2016

Topic Modeling参考文献 4被引用 61

一句话总结

本文提出使用输入梯度——模型输出相对于输入的偏导数——作为一种通用的、与模型无关的方法，用于解释复杂预测模型，包括自然语言处理中的深度神经网络。结果表明，梯度能够揭示特征重要性，并实现对全局线性近似，使用词袋表示法在情感分类任务中与原始模型达到99.6%的一致性。

ABSTRACT

State of the art machine learning algorithms are highly optimized to provide the optimal prediction possible, naturally resulting in complex models. While these models often outperform simpler more interpretable models by order of magnitudes, in terms of understanding the way the model functions, we are often facing a "black box". In this paper we suggest a simple method to interpret the behavior of any predictive model, both for regression and classification. Given a particular model, the information required to interpret it can be obtained by studying the partial derivatives of the model with respect to the input. We exemplify this insight by interpreting convolutional and multi-layer neural networks in the field of natural language processing.

研究动机与目标

• 开发一种通用的、与模型无关的复杂预测模型解释方法，特别是针对深度神经网络。
• 解决在传统参数分析失效的“黑箱”模型中的可解释性挑战。
• 证明输入梯度能为特征重要性和模型行为提供有意义的洞察。
• 表明梯度可用于创建复杂非线性模型的高精度线性近似。
• 在真实自然语言处理任务中验证该方法，使用词嵌入和词袋表示两种方式。

提出的方法

• 计算模型输出相对于每个输入特征的梯度，即 ∇f(x) = (∂f/∂x₁, ..., ∂f/∂xₚ)，以评估特征影响。
• 利用链式法则通过反向传播高效计算神经网络中的梯度。
• 在测试集上计算平均梯度向量 g̃ = (ḡ₁, ..., ḡₚ)，以获得特征重要性的全局度量。
• 使用平均梯度向量 g̃ 通过线性分类器近似模型的决策边界：若 ⟨g̃, x_new⟩ > 0，则预测为1。
• 将该方法应用于局部解释（如单个句子）和全局解释（如数据集中的词级影响）。
• 通过在小邻域内将不可微特征（如二值词袋）视为连续变量，处理其梯度估计。

实验结果

研究问题

• RQ1 输入梯度能否作为任何复杂度预测模型的通用可解释性工具？
• RQ2 在深度学习模型中，输入梯度在多大程度上反映了输入特征对模型预测的真实影响？
• RQ3 平均梯度向量能否提供复杂模型决策边界的可靠全局近似？
• RQ4 基于平均梯度的线性分类器在多大程度上能复现非线性模型的预测结果？
• RQ5 梯度在情感分类等自然语言处理任务中如何揭示有意义且可解释的模式？

主要发现

• 平均梯度向量 g̃ 提供了可信的、全局的特征重要性估计，排名靠前的词语如 'excellent' 和 'worst' 展现出高度可解释性。
• 基于 g̃ 的线性分类器在测试集上与原始模型达到99.6%的一致性，表明决策边界近似为线性。
• 该方法成功识别出单个句子中具有影响力的词语，如 'ape' 在 'ape was outstanding' 中，依据其高梯度范数。
• 即使对于不可微特征（如二值词袋向量），通过局部扰动进行梯度估计仍有效且具有信息量。
• 该方法可泛化至多种模型类型，包括自然语言处理中的卷积神经网络和多层神经网络。
• 与传统基于参数的解释方法相比，基于梯度的方法在无直接参数-特征映射的复杂模型中表现更优。