[论文解读] A Sea of Words: An In-Depth Analysis of Anchors for Text Data

Gianluigi Lopardo, Fŕed́eric Precioso+1 more|arXiv (Cornell University)|May 27, 2022

Explainable Artificial Intelligence (XAI)参考文献 32被引用 2

一句话总结

本文首次对文本数据的Anchors方法进行了理论分析，形式化了其在穷举搜索和TF-IDF向量化下的机制。证明了Anchors在线性模型中会选择经逆文档频率重加权后具有最高正系数的词语，并通过偏导数在神经网络中实证展示了类似行为，为该方法在可解释模型中的行为提供了严谨洞察。

ABSTRACT

Anchors (Ribeiro et al., 2018) is a post-hoc, rule-based interpretability method. For text data, it proposes to explain a decision by highlighting a small set of words (an anchor) such that the model to explain has similar outputs when they are present in a document. In this paper, we present the first theoretical analysis of Anchors, considering that the search for the best anchor is exhaustive. After formalizing the algorithm for text classification, we present explicit results on different classes of models when the vectorization step is TF-IDF, and words are replaced by a fixed out-of-dictionary token when removed. Our inquiry covers models such as elementary if-then rules and linear classifiers. We then leverage this analysis to gain insights on the behavior of Anchors for any differentiable classifiers. For neural networks, we empirically show that the words corresponding to the highest partial derivatives of the model with respect to the input, reweighted by the inverse document frequencies, are selected by Anchors.

研究动机与目标

• 为一种流行的文本分类后处理可解释性方法Anchors提供严谨的理论基础。
• 分析Anchors在简单、可解释模型（如线性分类器和if-then规则）中的行为，其中特征重要性的真实值是已知的。
• 将理论洞见扩展至复杂模型（如神经网络），这些模型中的机制尚不明确。
• 通过真实和合成数据上的数值实验与蒙特卡洛模拟验证理论假设。
• 建立Anchors产生稳定、有意义且可预测解释的条件。

提出的方法

• 通过在词语子集上进行穷举搜索，形式化了文本分类中的Anchors方法，假设采用TF-IDF向量化并处理未登录词的替换。
• 将采样过程建模为非锚定词语的i.i.d.伯努利删除过程，从而实现对精确度和覆盖率的概率分析。
• 证明了在精确度函数扰动下，穷举Anchors算法具有稳定性，确保其鲁棒性。
• 推导出Anchors基于模型系数选择词语的确切条件，尤其针对线性分类器和基于规则的分类器。
• 通过实证验证，在神经网络中Anchors会选择经逆文档频率缩放后具有最高正偏导数的词语。
• 使用蒙特卡洛模拟和累积分布函数比较，验证了在不同参数设置下理论近似的准确性。

实验结果

研究问题

• RQ1 在何种条件下，Anchors能可靠识别线性分类器中对模型预测最重要的词语？
• RQ2 当底层模型为可解释的if-then规则系统时，Anchors的行为如何？
• RQ3 能否将简单模型中的理论保证推广至复杂、可微分的模型（如神经网络）？
• RQ4 Anchors的选择与深度学习模型中基于梯度的词语显著性之间存在何种关系？
• RQ5 逆文档频率和词语重复度如何影响Anchors解释的稳定性和准确性？

主要发现

• 对于线性分类器，Anchors可证明地选择经逆文档频率重加权后具有最高正系数的词语，确保与模型逻辑一致。
• 在if-then规则模型中，Anchors能生成有意义的解释，但若词语频率超过阈值，高重复度词语可能被排除。
• 对于神经网络，Anchors会选择与经逆文档频率缩放后最高正偏导数相对应的词语，使其与基于梯度的解释方法产生关联。
• 穷举Anchors算法在精确度函数扰动下具有稳定性，支持其作为理论基准的使用。
• 通过蒙特卡洛模拟的实证验证确认了理论近似的准确性，尤其在锚定大小相对于词汇量较小时表现更优。
• 图12–13表明，即使两者均满足预测条件，Anchors更偏好较短、更具体的规则，而非包含冗余词语的较长规则。