[论文解读] ET5: A Novel End-to-end Framework for Conversational Machine Reading Comprehension

Xiao Zhang, Heyan Huang+2 more|arXiv (Cornell University)|Sep 23, 2022

Topic Modeling被引用 4

一句话总结

ET5 提出了一种新颖的端到端框架，用于对话式机器阅读理解，通过共享编码器和双解码器，将蕴含推理与答案生成整合在一起，显著减少了决策与问题生成之间的信息差距。它在 ShARC 排行榜上取得了 55.2 的新 SOTA BLEU-4 得分，通过细粒度蕴含推理和基于图的语篇建模，展现出卓越的问题生成性能。

ABSTRACT

Conversational machine reading comprehension (CMRC) aims to assist computers to understand an natural language text and thereafter engage in a multi-turn conversation to answer questions related to the text. Existing methods typically require three steps: (1) decision making based on entailment reasoning; (2) span extraction if required by the above decision; (3) question rephrasing based on the extracted span. However, for nearly all these methods, the span extraction and question rephrasing steps cannot fully exploit the fine-grained entailment reasoning information in decision making step because of their relative independence, which will further enlarge the information gap between decision making and question phrasing. Thus, to tackle this problem, we propose a novel end-to-end framework for conversational machine reading comprehension based on shared parameter mechanism, called entailment reasoning T5 (ET5). Despite the lightweight of our proposed framework, experimental results show that the proposed ET5 achieves new state-of-the-art results on the ShARC leaderboard with the BLEU-4 score of 55.2. Our model and code are publicly available at https://github.com/Yottaxx/ET5.

研究动机与目标

• 为解决对话式机器阅读理解（CMRC）中决策与问题生成之间的信息差距问题。
• 通过在多个阶段利用细粒度蕴含推理信息，提升问题生成性能。
• 消除对独立、分离的流水线的依赖，这些流水线无法有效共享推理信号。
• 通过统一的、参数共享的架构，提升模型的泛化能力和推理保真度。
• 验证图推理和细粒度文本前缀在提升推理与生成质量方面的有效性。

提出的方法

• ET5 使用共享编码器处理输入文本、对话历史和上下文，实现统一的表征学习。
• 它引入了双解码器架构：蕴含推理解码器和答案生成解码器，两者共享相同的编码器表征。
• 蕴含推理解码器使用图推理机制，对基本语篇单元（EDUs）之间的显性和隐性语篇关系进行建模。
• 在 EDUs 之前注入细粒度文本前缀，以引导模型区分并推理不同类型的语篇关系。
• 该框架采用参数共享机制，将蕴含推理信号直接传播至答案生成解码器，增强推理感知的问题生成能力。
• 模型采用基于文本到文本 的 T5 架构，通过端到端训练，联合优化决策与问题生成。

实验结果

研究问题

• RQ1 具有参数共享机制的端到端框架是否能改善 CMRC 中决策与问题生成之间的对齐？
• RQ2 引入基于图的语篇推理如何影响模型生成上下文恰当的后续问题的能力？
• RQ3 细粒度文本前缀在多大程度上增强了模型对复杂语篇结构进行推理的能力？
• RQ4 若移除蕴含推理解码器，问题生成性能是否会下降？若会，下降幅度如何？
• RQ5 与现有基于流水线的方法相比，该框架在推理保真度和泛化能力方面表现如何？

主要发现

• ET5 在 ShARC 排行榜上取得了 55.2 的新 SOTA BLEU-4 得分，优于先前方法。
• 消融实验表明，移除蕴含推理解码器会使 ABLEU-4 下降 5.3 分，凸显其在问题生成中的关键作用。
• 若移除图推理模块，ABLEU-4 下降 7.2 分，证明其在建模语篇结构方面的重要性。
• 与使用原始特殊标记相比，细粒度文本前缀使 ABLEU-4 提升 3.9 分，降低了语义学习中的噪声。
• ET5-Base 在决策任务上达到 80.4 的宏平均 F1，表明其具备强大的推理能力，尽管在测试集上性能略有下降，提示可能存在过拟合或偏差。
• 模型展现出更优的推理保真度：正确分类与正确问题生成同时发生，表明模型学习到了超越统计偏差的推理能力。