[论文解读] Dual Ask-Answer Network for Machine Reading Comprehension

Hang Xiao, Feng Wang+2 more|arXiv (Cornell University)|Sep 6, 2018

Topic Modeling参考文献 4被引用 15

一句话总结

本文提出双问-答网络（DAANet），一种双向神经序列转换模型，通过共享模型组件并利用层次注意力机制建模上下文、问题与答案之间的跨模态交互，联合学习阅读理解中的问答（QA）与问题生成（QG）任务。DAANet在四个公开的机器阅读理解数据集上达到最先进性能，其在QA与QG任务上的表现均优于单任务学习与先前的联合学习模型。

ABSTRACT

There are three modalities in the reading comprehension setting: question, answer and context. The task of question answering or question generation aims to infer an answer or a question when given the counterpart based on context. We present a novel two-way neural sequence transduction model that connects three modalities, allowing it to learn two tasks simultaneously and mutually benefit one another. During training, the model receives question-context-answer triplets as input and captures the cross-modal interaction via a hierarchical attention process. Unlike previous joint learning paradigms that leverage the duality of question generation and question answering at data level, we solve such dual tasks at the architecture level by mirroring the network structure and partially sharing components at different layers. This enables the knowledge to be transferred from one task to another, helping the model to find a general representation for each modality. The evaluation on four public datasets shows that our dual-learning model outperforms the mono-learning counterpart as well as the state-of-the-art joint models on both question answering and question generation tasks.

研究动机与目标

• 为解决单任务模型在机器阅读理解中的局限性，通过联合学习问答与问题生成任务。
• 在模型架构层面利用问答与问题生成之间的对偶性，而非在数据或损失层面。
• 通过对称的镜像网络结构在问答与问题生成任务间共享组件，提升泛化能力与表征学习效果。
• 证明通过架构共享实现的跨任务知识迁移可有效提升问答与问题生成任务的性能。
• 提供一个统一框架，使用相同模型架构支持答案生成与问题生成，且不假设答案为跨度形式。

提出的方法

• 该模型采用对称的双向架构，问答与问题生成任务间共享组件。
• 采用层次注意力机制，在多个层次上捕捉上下文、问题与答案之间的交互。
• 网络结构分为四层：嵌入层、编码层、注意力层与输出层，上下文、问题与答案共享编码器。
• 指针-生成网络在任务间共享，以处理未登录词（OOV）并提升生成质量。
• 训练阶段，模型接收问题-上下文-答案三元组，通过共享损失函数同时学习QA与QG任务。
• 推理阶段，模型基于上下文及对应模态（如给定问题与上下文）自回归生成答案或问题。

实验结果

研究问题

• RQ1 问答与问题生成任务间的架构共享是否能提升两者的性能？
• RQ2 通过对称共享架构联合学习问答与问题生成，是否比单任务学习或数据级联合学习具有更好的泛化能力？
• RQ3 层次注意力在建模上下文、问题与答案之间跨模态交互方面有多有效？
• RQ4 模型是否能在不假设跨度形式答案的前提下，生成流畅且准确的问题与答案？
• RQ5 在架构层面实施的双学习范式，是否比数据级或损失级联合学习更有效地实现知识迁移？

主要发现

• DAANet在SQuAD数据集上取得37.28的最高F1分数，优于单任务基线与最先进联合模型。
• 在SQuAD数据集上，DAANet相比单任务模型F1提升10.46分，相比最佳先前联合模型提升5.43分。
• 在NewsQA数据集上，DAANet取得43.85的F1分数，显著领先于次优模型4.52分。
• 消融实验表明，移除共享组件（如独立的问题/答案编码器或无复制机制）会导致性能显著下降，验证了架构共享的重要性。
• 案例研究显示，即使在提供真实答案的情况下，DAANet生成的问题与答案也比单任务模型更准确、更流畅。
• 尽管QA性能强劲，QG得分在对齐型指标下仍低于QA，表明QG仍是更具挑战性的任务，但DAANet在联合模型中仍取得最佳QG结果。