[论文解读] A Survey on Measuring and Mitigating Reasoning Shortcuts in Machine Reading Comprehension

Xanh Ho, Johannes Mario Meissner+2 more|arXiv (Cornell University)|Sep 5, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本综述全面回顾了测量和缓解机器阅读理解（MRC）中推理捷径的技术，重点关注使模型能够绕过真正推理的统计相关性。它指出了关键缺陷——缺乏公开的挑战数据集以及在其他NLP领域中被低估的缓解方法——并倡导在MRC中采用更稳健、可泛化的评估方法以及改进的去偏策略。

ABSTRACT

The issue of shortcut learning is widely known in NLP and has been an important research focus in recent years. Unintended correlations in the data enable models to easily solve tasks that were meant to exhibit advanced language understanding and reasoning capabilities. In this survey paper, we focus on the field of machine reading comprehension (MRC), an important task for showcasing high-level language understanding that also suffers from a range of shortcuts. We summarize the available techniques for measuring and mitigating shortcuts and conclude with suggestions for further progress in shortcut research. Importantly, we highlight two concerns for shortcut mitigation in MRC: (1) the lack of public challenge sets, a necessary component for effective and reusable evaluation, and (2) the lack of certain mitigation techniques that are prominent in other areas.

研究动机与目标

• 系统性地调查现有用于检测和测量MRC数据集中推理捷径的方法。
• 分析当前的缓解技术，并评估其在不同MRC基准上的有效性。
• 突出显示捷径研究中的关键缺陷，特别是缺乏公开挑战数据集以及被低估的缓解策略。
• 提出未来研究方向，包括在多样化MRC数据集上进行更广泛的评估，以及提升对抗性样本的质量。
• 鼓励将计算机视觉和自然语言推理（NLI）领域中已验证的缓解技术整合到MRC中，以增强模型的鲁棒性。

提出的方法

• 根据方法对现有推理捷径测量技术进行分类和归类（例如，对抗性样本生成、注意力分析、模式探测等）。
• 调查包括对抗性训练、数据增强和提示工程（如思维链提示）在内的缓解策略。
• 通过在对抗性SQuAD和其他挑战数据集上评估模型性能，来衡量其对捷径利用的鲁棒性。
• 分析对抗性样本的有效性和自然性，以确保其反映的是真正的模型失败，而非数据缺陷。
• 提出一个基于现有MRC数据集的框架，用于设计面向社区的挑战数据集，以实现标准化评估。
• 在不同MRC任务（如多跳阅读、对话式阅读、跨度抽取）之间比较缓解技术，以识别可迁移的方法。

实验结果

研究问题

• RQ1 MRC数据集中存在的主要推理捷径类型是什么？现有测量技术如何检测这些捷径？
• RQ2 当前缓解技术在减少不同MRC基准中对捷径的依赖方面有多有效？
• RQ3 为何缺乏公开挑战数据集是评估和比较MRC中捷径缓解方法的主要瓶颈？
• RQ4 哪些来自其他NLP或视觉领域的缓解技术可以被适配以提升MRC的鲁棒性？为何这些技术被低估？
• RQ5 MRC中使用的对抗性样本在多大程度上保持了语义意义和自然语言质量？这如何影响模型评估？

主要发现

• 许多MRC模型在SQuAD等基准上取得高分，并非通过推理，而是通过利用浅层统计模式，如词匹配或问题起始词提示。
• 对抗性SQuAD仍是评估捷径缓解的最广泛使用挑战数据集，但其主导地位限制了在其他MRC数据集上的广泛评估。
• MRC中大量对抗性样本被发现不自然或语义退化，引发对模型失败是否反映真实鲁棒性问题，还是评估数据缺陷的担忧。
• 思维链提示在提升推理方面显示出潜力，但其在多跳MRC中缓解推理捷径的能力尚未得到证实，仍需进一步研究。
• 当前缓解技术大多局限于SQuAD，缺乏在其他MRC任务中的泛化能力，表明亟需更可迁移、可扩展的方法。
• 研究社区缺乏针对非SQuAD MRC数据集的标准化、公开可用的挑战数据集，阻碍了可复现的进展和方法比较。