[论文解读] Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language?

Peter Hase, Shiyue Zhang+2 more|arXiv (Cornell University)|Oct 8, 2020

Topic Modeling参考文献 39被引用 4

一句话总结

本文提出了泄漏调整可模拟性（LAS），一种新颖的度量标准，用于评估人工智能模型生成的自然语言解释是否真正支持其预测结果，而非仅仅模仿人类的合理性。通过使用语言模型作为代理观察者，LAS 衡量解释在控制标签泄漏的前提下，使预测模型输出的能力；所提出的 ST-Ra 模型达到了人类水平的 LAS 得分，证明其能够生成忠实且非平凡的解释。

ABSTRACT

Data collection for natural language (NL) understanding tasks has increasingly included human explanations alongside data points, allowing past works to introduce models that both perform a task and generate NL explanations for their outputs. Yet to date, model-generated explanations have been evaluated on the basis of surface-level similarities to human explanations, both through automatic metrics like BLEU and human evaluations. We argue that these evaluations are insufficient, since they fail to indicate whether explanations support actual model behavior (faithfulness), rather than simply match what a human would say (plausibility). In this work, we address the problem of evaluating explanations from the model simulatability perspective. Our contributions are as follows: (1) We introduce a leakage-adjusted simulatability (LAS) metric for evaluating NL explanations, which measures how well explanations help an observer predict a model's output, while controlling for how explanations can directly leak the output. We use a model as a proxy for a human observer, and validate this choice with two human subject experiments. (2) Using the CoS-E and e-SNLI datasets, we evaluate two existing generative graphical models and two new approaches; one rationalizing method we introduce achieves roughly human-level LAS scores. (3) Lastly, we frame explanation generation as a multi-agent game and optimize explanations for simulatability while penalizing label leakage, which can improve LAS scores. We provide code for the experiments in this paper at https://github.com/peterbhase/LAS-NL-Explanations

研究动机与目标

• 为解决现有评估方法过于关注表面相似性（如 BLEU）或合理性，而忽视解释忠实性的问题。
• 开发一种度量标准，衡量解释是否能实现对模型输出的准确预测（即可模拟性），同时考虑标签的直接泄漏。
• 通过人类受试实验验证所提出的度量标准，显示其与专家和众包评估结果的一致性。
• 探索是否可通过针对可模拟性优化的训练目标，使解释质量超越标准语言建模。
• 研究在将解释作为监督信号时，模型准确率与解释忠实性之间的权衡，特别是在可解释性（rationalizing）与推理（reasoning）模型之间的差异。

提出的方法

• 提出泄漏调整可模拟性（LAS），一种度量标准，通过计算模拟器（语言模型）在给定输入和解释的前提下预测模型输出的准确率，同时通过基线模型（仅从解释预测）控制标签泄漏。
• 使用预训练的 T5 模型作为模拟器以自动化 LAS 评估，并通过两项人类实验进行验证：专家可模拟性评估与众包评分。
• 引入多智能体博弈框架，使解释在训练期间针对可模拟性进行优化，同时对标签泄漏施加惩罚，使用代理目标进行训练。
• 通过比较模拟器在同时获得输入和解释时的准确率（$\mathbbm{1}[\hat{y}|x,\hat{e}]$）与仅获得解释时的准确率（$\mathbbm{1}[\hat{y}|\hat{e}]$）来实现泄漏控制，其差异即表示泄漏程度。
• 将 LAS 度量标准应用于 CoS-E 和 e-SNLI 数据集上的四种模型——MT-Ra、ST-Re、MT-Re 和新提出的 ST-Ra，结合自动评估与人工评估。
• 使用回归分析关联 LAS 得分与人类评分，发现标签泄漏是人类偏好最强的预测因子。

实验结果

研究问题

• RQ1 能否开发一种度量标准，用于评估模型生成的自然语言解释是否真正有助于预测模型行为，而不仅仅是与人类解释匹配？
• RQ2 现有解释生成方法在多大程度上生成了忠实于模型行为的解释，而非仅仅是看似合理的解释？
• RQ3 解释中的标签泄漏在多大程度上影响了人类对解释质量的感知？这种影响能否与真正的可模拟性区分开来？
• RQ4 能否设计训练目标，通过优化可模拟性并减少标签泄漏，来提升解释质量？
• RQ5 当使用解释作为监督信号时，模型准确率与解释忠实性之间是否存在权衡？

主要发现

• ST-Ra 模型达到与人类解释相当的 LAS 得分，表明其能够生成非平凡且支持模型行为的解释。
• 基于标签条件的可解释模型（rationalizing models）优于不依赖标签的推理模型（reasoning models），表明标签条件有助于提升可模拟性。
• 模型准确率与 LAS 得分之间无统计显著关系，表明忠实性与准确率在很大程度上是解耦的。
• 人类解释评分最强的预测因子是解释是否泄漏标签，而非其可模拟性或忠实性。
• 通过多智能体博弈框架优化解释可提升 LAS 得分，尽管训练过程不稳定，且对准确率影响微乎其微。
• 自动 LAS 度量标准与专家模拟结果及人类评分高度相关，验证了其作为人类评估可靠代理的有效性。