[论文解读] Avoiding Reasoning Shortcuts: Adversarial Evaluation, Training, and Model Development for Multi-Hop QA

Yichen Jiang, Mohit Bansal|arXiv (Cornell University)|Jun 17, 2019

Topic Modeling参考文献 26被引用 4

一句话总结

本文识别出 HotpotQA 数据集中允许模型通过单跳词匹配而非真正的组合式推理来回答多跳问题的推理捷径。本文提出对抗性文档生成以消除这些捷径，引入一个用于动态问题引导多跳注意力的控制单元，并表明采用该架构的模型在对抗性评估中相比基线模型展现出显著更高的鲁棒性和性能。

ABSTRACT

Multi-hop question answering requires a model to connect multiple pieces of evidence scattered in a long context to answer the question. In this paper, we show that in the multi-hop HotpotQA (Yang et al., 2018) dataset, the examples often contain reasoning shortcuts through which models can directly locate the answer by word-matching the question with a sentence in the context. We demonstrate this issue by constructing adversarial documents that create contradicting answers to the shortcut but do not affect the validity of the original answer. The performance of strong baseline models drops significantly on our adversarial evaluation, indicating that they are indeed exploiting the shortcuts rather than performing multi-hop reasoning. After adversarial training, the baseline's performance improves but is still limited on the adversarial evaluation. Hence, we use a control unit that dynamically attends to the question at different reasoning hops to guide the model's multi-hop reasoning. We show that this 2-hop model trained on the regular data is more robust to the adversaries than the baseline model. After adversarial training, this 2-hop model not only achieves improvements over its counterpart trained on regular data, but also outperforms the adversarially-trained 1-hop baseline. We hope that these insights and initial improvements will motivate the development of new models that combine explicit compositional reasoning with adversarial training.

研究动机与目标

• 揭示并评估 HotpotQA 数据集中允许模型绕过真正多跳推理的推理捷径。
• 开发对抗性文档，通过引入冲突答案来消除这些捷径，同时保持语义合理性。
• 通过对抗性训练提升模型鲁棒性，并引入一个用于动态、问题引导的多跳注意力的控制单元。
• 证明显式组合式推理机制在对抗性设置下优于标准模型。

提出的方法

• 通过扰动答案片段和文档标题来生成对抗性文档，以创建误导捷径利用模型的冲突答案。
• 通过将支持性文档中的关键实体替换为语义上合理但错误的替代项，构建对抗性开发集（adv-dev）和训练集（adv-train）。
• 设计一个两跳模型，其包含一个循环控制单元，可在每个推理步骤动态关注相关问题词，以引导双注意机制。
• 在训练过程中整合支持性事实监督，以鼓励证据定位，减少对表面匹配的依赖。
• 在生成的对抗性数据上对基线模型和两跳模型进行对抗性训练，以提升鲁棒性。
• 在标准和对抗性划分上评估模型性能，以衡量泛化能力和推理鲁棒性。

实验结果

研究问题

• RQ1 SOTA 模型在 HotpotQA 中在多大程度上依赖推理捷径而非真正的多跳推理？
• RQ2 对抗性文档在暴露并衡量模型对捷径利用的脆弱性方面有多有效？
• RQ3 对抗性训练能否提升模型在消除推理捷径的样本上的鲁棒性？
• RQ4 一个能动态引导问题词注意力的控制单元是否能提升多跳推理性能？
• RQ5 在对抗性训练后，具有显式推理控制的两跳模型是否能超越对抗性训练后的单跳基线模型？

主要发现

• 强基线模型（Bi-attention + Self-attention）在对抗性开发集上的性能显著下降，表明其严重依赖推理捷径。
• 支持性事实监督提升了基线模型在对抗性集上的表现，表明证据定位可增强鲁棒性。
• 对抗性训练提升了基线模型在对抗性集上的表现，但其性能仍显著低于在标准开发集上的表现。
• 所提出的带控制单元的两跳模型在使用常规数据训练时，于对抗性评估中优于基线模型，表明其鲁棒性得到提升。
• 经过对抗性训练后，两跳模型在对抗性开发集上的表现优于对抗性训练后的单跳基线模型，表明显式组合式推理的有效性。
• 经过对抗性训练的两跳模型进一步提升了性能，证实将显式推理与对抗性训练结合可显著增强鲁棒性。