[论文解读] Improving Neural Model Performance through Natural Language Feedback on Their Explanations

Aman Madaan, Niket Tandon+5 more|arXiv (Cornell University)|Apr 18, 2021

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文提出 Mercurie，一种通过自然语言反馈实现无需微调的神经模型解释交互式改进的 NLP 系统。通过利用人类反馈纠正不一致的解释图，Mercurie 将不一致性降低了 40%，并在三个领域中将下游可废止推理的准确率提升了 1.2 分。

ABSTRACT

A class of explainable NLP models for reasoning tasks support their decisions by generating free-form or structured explanations, but what happens when these supporting structures contain errors? Our goal is to allow users to interactively correct explanation structures through natural language feedback. We introduce MERCURIE - an interactive system that refines its explanations for a given reasoning task by getting human feedback in natural language. Our approach generates graphs that have 40% fewer inconsistencies as compared with the off-the-shelf system. Further, simply appending the corrected explanation structures to the output leads to a gain of 1.2 points on accuracy on defeasible reasoning across all three domains. We release a dataset of over 450k graphs for defeasible reasoning generated by our system at https://tinyurl.com/mercurie .

研究动机与目标

• 通过自然语言反馈实现神经模型解释的交互式修正，避免昂贵的微调过程。
• 解决现有系统依赖结构化或可操作反馈的局限性，而这类反馈在真实场景中并不常见。
• 提升神经模型在开放域真实应用中生成的解释图的一致性和质量。
• 证明优化后的解释结构可为下游推理任务带来可测量的性能提升。
• 发布一个包含超过 45 万条解释图的大规模数据集，用于支持未来在可废止推理领域的研究。

提出的方法

• 该系统采用两阶段流水线：一个预训练的神经模型（M）生成初始解释图，一个图校正器（G）利用人类反馈对图进行优化。
• 人类反馈以自然语言形式提供，描述解释图中的不一致或错误（例如：'这个节点与图的其余部分矛盾'）。
• 图校正器（G）通过微调的序列到序列模型，将输入查询、反馈和初始图映射为修正后的图。
• 校正过程为迭代式：收集反馈，优化图，重复该过程直至不再提供新反馈。
• 将修正后的图附加到下游任务（可废止推理）的输入序列中，以改善上下文表征。
• 系统利用 RoBERTa-base 编码包含图节点的输入序列，随后通过单层 MLP 分类器进行预测。

实验结果

研究问题

• RQ1 自然语言反馈能否有效减少神经模型生成的解释图中的不一致性？
• RQ2 通过人类反馈优化解释结构是否能为下游推理性能带来可测量的提升？
• RQ3 系统是否能在无需任务特定反馈模式或结构化编辑命令的情况下实现跨领域泛化？
• RQ4 解释图的质量如何影响下游可废止推理任务的性能？
• RQ5 在不微调底层神经模型的前提下，对解释的反馈能在多大程度上提升模型性能？

主要发现

• 图校正器（G）将解释图中重复节点的平均数量减少了 40%，从每图 2.11 个降至 1.25 个。
• 各领域中至少包含一个重复节点的图的比例，从平均 73.3% 下降至 47.6%。
• 将修正后的图附加到输入序列后，可在所有三个领域（原子、SNLI、社交）中平均提升可废止推理准确率 1.2 分。
• 使用修正图的模型（G）在平均准确率达 83.26%，显著优于基线模型（82.03%）和未经校正的模型（82.53%）。
• 该提升具有统计显著性，表明更清晰、更一致的解释结构可增强下游推理性能。
• 该系统成功泛化至真实世界反馈，即使反馈常不精确且不可操作，也无需特殊反馈格式。