[论文解读] Interpretation of Natural Language Rules in Conversational Machine Reading

Marzieh Saeidi, Max Bartolo+6 more|arXiv (Cornell University)|Aug 28, 2018

Topic Modeling参考文献 30被引用 4

一句话总结

本文提出了对话式机器阅读（CMR）任务，要求模型理解自然语言规则并结合背景知识，通过交互式对话回答“我可以……吗？”或“我必须……吗？”类问题。作者采用一种新颖的众包协议，引入虚拟用户，收集了包含32,000个实例的数据集。结果显示，尽管模型在无需背景知识时表现良好，但在需要背景知识时性能显著下降，凸显了在真实世界问答中理解规则的挑战。

ABSTRACT

Most work in machine reading focuses on question answering problems where the answer is directly expressed in the text to read. However, many real-world question answering problems require the reading of text not because it contains the literal answer, but because it contains a recipe to derive an answer together with the reader's background knowledge. One example is the task of interpreting regulations to answer "Can I...?" or "Do I have to...?" questions such as "I am working in Canada. Do I have to carry on paying UK National Insurance?" after reading a UK government website about this topic. This task requires both the interpretation of rules and the application of background knowledge. It is further complicated due to the fact that, in practice, most questions are underspecified, and a human assistant will regularly have to ask clarification questions such as "How long have you been working abroad?" when the answer cannot be directly derived from the question and text. In this paper, we formalise this task and develop a crowd-sourcing strategy to collect 32k task instances based on real-world rules and crowd-generated questions and scenarios. We analyse the challenges of this task and assess its difficulty by evaluating the performance of rule-based and machine-learning baselines. We observe promising results when no background knowledge is necessary, and substantial room for improvement whenever background knowledge is needed.

研究动机与目标

• 形式化一项新任务——对话式机器阅读（CMR），使系统能够理解自然语言规则，并结合背景知识回答复杂的“我可以……吗？”或“我必须……吗？”类问题。
• 通过建模包含澄清问题与回答的对话，解决问题表述不明确的挑战。
• 开发一种可扩展、受控的众包协议，利用虚拟用户生成高质量、多样化的CMR对话。
• 基于真实的英国政府法规，创建一个大规模、真实世界的32,000个实例数据集，涵盖实际的问答场景与问题。
• 评估基线模型，并表明当需要背景知识时，性能显著下降，凸显未来研究的关键挑战。

提出的方法

• 设计基于对话的标注界面，标注员与虚拟用户协作构建对话，虚拟用户使用预定义答案回应后续问题。
• 通过控制虚拟用户的回答比例（“是”与“否”）和对话历史内容，确保数据收集的平衡性与多样性。
• 从真实监管文本（如英国国民保险规则）中收集32,000个任务实例，每个实例包含初始问题、情景描述、规则片段、对话历史以及最终答案或后续问题。
• 使用带或不带复制机制的序列到序列（seq2seq）神经网络模型，生成答案或澄清问题，编码上下文、历史记录和问题输入。
• 使用宏观准确率、BLEU-1、BLEU-4以及自定义指标（CM）评估模型在CMR任务上的表现，衡量答案质量与语言流畅性。
• 开展用户研究，比较CMR辅助问答与手动阅读规则的效率，测量决策速度与准确性。

实验结果

研究问题

• RQ1 模型能否在对话场景中有效理解监管文本中的自然语言规则，回答复杂的“我可以……吗？”或“我必须……吗？”类问题？
• RQ2 背景知识的引入如何影响基于规则的问答中模型的性能表现？
• RQ3 基于受控虚拟用户的标注协议，在多大程度上能生成高质量、多样化且平衡的CMR对话数据？
• RQ4 带有和不带复制机制的神经序列到序列模型在CMR任务上的表现如何，特别是在生成澄清问题方面？
• RQ5 与手动阅读规则相比，使用对话式代理是否能显著提升用户在回答监管问题时的速度与准确性？

主要发现

• 当需要背景知识时，所提出的CMR任务显著更具挑战性，表现为模型性能从无背景知识时的61.9%宏观准确率下降至44.8%。
• 用户研究表明，使用对话式代理的参与者得出正确结论的速度快两倍（2倍快），准确率达93%，而手动阅读规则的准确率仅为68%。
• 众包协议在三名标注员之间达成较高的一致性（Fleiss’ Kappa = 0.71），表明使用受控虚拟用户可实现可靠的数据收集。
• 使用复制机制的模型优于无复制机制的模型，表明从规则文本中复制关键术语可提升答案生成质量与语言流畅性。
• 表现最佳的模型（CM）在无需背景知识时达到0.619的宏观准确率与0.689的BLEU-1，表明其表现具有潜力但尚未完善。
• 结果凸显当前模型的关键差距：在规则推理与外部知识整合方面仍有巨大提升空间，提示未来需发展更优的蕴含推理与问题生成机制。