[论文解读] Interpretation of NLP models through input marginalization

Siwon Kim, Jihun Yi+2 more|arXiv (Cornell University)|Oct 27, 2020

Explainable Artificial Intelligence (XAI)参考文献 27被引用 6

一句话总结

本文提出输入边际化作为一种NLP模型的忠实解释方法，以基于似然的边际化（利用BERT的掩码语言模型）替代标准的置零擦除方法，从而避免分布外（OOD）问题。该方法生成了更准确的归因分数，微调后的掩码语言模型建模可产生最合理的解释，与预训练模型相比，对无关词如'film'和'movie'的误导性分数降低了90%以上。

ABSTRACT

To demystify the "black box" property of deep neural networks for natural language processing (NLP), several methods have been proposed to interpret their predictions by measuring the change in prediction probability after erasing each token of an input. Since existing methods replace each token with a predefined value (i.e., zero), the resulting sentence lies out of the training data distribution, yielding misleading interpretations. In this study, we raise the out-of-distribution problem induced by the existing interpretation methods and present a remedy; we propose to marginalize each token out. We interpret various NLP models trained for sentiment analysis and natural language inference using the proposed method.

研究动机与目标

• 识别现有NLP模型解释方法中因对词元进行置零擦除而产生的分布外（OOD）问题。
• 通过用考虑候选词元似然性的输入边际化替代置零擦除，提出一种补救方法。
• 证明通过微调BERT掩码语言模型进行似然建模，可提升解释保真度，优于均匀分布或先验分布。
• 在情感分析和自然语言蕴含任务上，通过定量相关性与定性解释分析验证该方法。
• 表明自适应截断边际化在保持与完整边际化高相关性的同时，显著降低计算成本。

提出的方法

• 将输入中的每个词元替换为所有可能词元的分布，而非设为零，以避免分布外输入。
• 利用BERT的掩码语言模型（MLM）估计给定上下文下每个候选词元的似然性。
• 通过使用估计的似然性对每个词元进行边际化计算归因分数，保持分布一致性。
• 通过选择高似然候选词元（例如，似然值高于σ = 10⁻⁵）实施自适应截断，以减少计算量同时保持准确性。
• 使用皮尔逊相关系数评估截断边际化与完整边际化的相关性，兼顾速度与保真度。
• 在下游数据集（如SST-2）上对BERT MLM进行微调，以提升任务特定上下文下的似然估计精度。

实验结果

研究问题

• RQ1 标准的NLP模型解释方法中，对词元进行置零擦除是否因分布外（OOD）输入而产生误导性结果？
• RQ2 使用基于似然的候选词元分布对每个词元进行边际化，是否能相比置零擦除提升解释保真度？
• RQ3 似然建模方式的选择（均匀分布、先验分布、预训练MLM、微调MLM）如何影响归因分数的质量？
• RQ4 自适应截断在多大程度上可降低计算成本，同时不牺牲与完整边际化的相关性？
• RQ5 所提出的方法是否能在真实NLP任务（如情感分析和自然语言蕴含）中产生更合理且准确的解释？

主要发现

• 均匀似然模型无法产生有意义的解释，反而为无关词元分配了高分。
• 先验概率建模略有改善，但仍产生误导性归因，尤其在常见词如'film'和'movie'上表现明显。
• 预训练BERT MLM将'film'和'movie'的归因分数分别从0.256和0.631降低至0.007和0.321，表明保真度显著提升。
• 微调后的BERT MLM产生最准确的解释，与完整边际化相关性最高，且归因分数最合理。
• 在σ = 10⁻⁵处的自适应截断实现了与完整边际化0.9999的皮尔逊相关性，同时将平均边际化次数从30,522减少至791。
• 固定截断（仅保留前1000名候选）的相关性（0.9823）低于σ = 10⁻⁵的自适应截断，表明基于似然的截断更有效。