[论文解读] LS-Tree: Model Interpretation When the Data Are Linguistic

Jianbo Chen, Michael I. Jordan|arXiv (Cornell University)|Feb 11, 2019

Topic Modeling参考文献 25被引用 5

一句话总结

LS-Tree 提出了一种适用于 NLP 模型的模型无关解释方法，通过句法解析树使用最小二乘法为词语分配重要性得分，并将这些得分与合作博弈论中的 Banzhaf 值相联系。该方法能够检测词语之间的相互作用，并对非线性、转折关系以及过拟合现象进行诊断，适用于 BERT、LSTM、CNN 和线性模型等各类模型。

ABSTRACT

We study the problem of interpreting trained classification models in the setting of linguistic data sets. Leveraging a parse tree, we propose to assign least-squares based importance scores to each word of an instance by exploiting syntactic constituency structure. We establish an axiomatic characterization of these importance scores by relating them to the Banzhaf value in coalitional game theory. Based on these importance scores, we develop a principled method for detecting and quantifying interactions between words in a sentence. We demonstrate that the proposed method can aid in interpretability and diagnostics for several widely-used language models.

研究动机与目标

• 开发一种利用句法结构提升可解释性的模型无关解释方法。
• 基于合作博弈论，通过在解析树节点上使用最小二乘法量化词语层面的重要性得分。
• 利用线性回归中的 Cook 距离，系统性地量化解析树中兄弟节点之间的词语相互作用。
• 通过相互作用得分诊断模型行为，包括非线性、对转折性词语的敏感性以及过拟合现象。
• 基于训练集与测试集之间相互作用得分的方差差异，提供一种过拟合诊断工具。

提出的方法

• 为解析树中每个词语子集 S 构建特征函数 v(S) = f(S) - f(∅)，表示词语子集对模型输出的贡献。
• 求解最小二乘优化问题，以找到使 ∑[v(S) - ∑_{i∈S} ψ_i]² 最小化的词语重要性得分 ψ，其中 S 遍历所有解析树子集。
• 将 LS-Tree 值定义为该最小二乘问题的解，并将其与合作博弈论中的 Banzhaf 值形式上建立联系。
• 在线性回归中使用 Cook 距离量化解析树中兄弟节点之间的相互作用，识别具有影响力的词语对。
• 对训练集与测试集之间相互作用得分的方差进行置换检验，以检测过拟合现象。
• 在四个模型（线性模型、CNN、LSTM 和 BERT）上，基于三个数据集（SST、IMDB、Yelp）评估该方法，以检验其可解释性与诊断能力。

实验结果

研究问题

• RQ1 能否通过利用句法成分结构，有效实现模型无关解释方法对词语重要性的评分？
• RQ2 如何利用解析树结构与回归诊断方法，系统性地量化句子中词语之间的相互作用？
• RQ3 LS-Tree 在多大程度上能够检测深度学习模型（如 BERT、LSTM 和 CNN）中的非线性特征？
• RQ4 不同模型在上下文中如何处理转折性关系（如 'not'、'while'），LS-Tree 是否能够量化这种敏感性？
• RQ5 训练集与测试集之间 LS-Tree 相互作用得分的方差差异，能否作为过拟合的可靠诊断指标？

主要发现

• 在所有数据集中，BERT 均表现出最高的平均相互作用得分，表明其对词语相互作用的敏感性高于其他模型。
• 在 SST 和 IMDB 数据集中，BERT 在捕捉转折性关系方面优于其他模型，可能归因于其在大规模文本上的预训练。
• 在 Yelp 数据集中，由于训练数据更多，CNN 和 LSTM 模型在检测转折性关系方面与 BERT 表现相当。
• 当 'while' 表达转折含义时，其 LS-Tree 相互作用得分显著更高，且在 BERT 中的区分度最为明显。
• 过拟合模型在测试数据上的相互作用得分平均方差显著大于训练数据，该现象在 CNN、LSTM 和 BERT 中均被观察到。
• 对相互作用得分方差进行置换检验显示，在过拟合阶段 p 值低于 0.05，支持其作为早停准则的使用。