[论文解读] Exploring Question Understanding and Adaptation in Neural-Network-Based Question Answering

Junbei Zhang, Xiaodan Zhu+4 more|arXiv (Cornell University)|Mar 14, 2017

Topic Modeling参考文献 20被引用 39

一句话总结

本文提出了一种神经网络框架，通过整合句法解析和问题类型自适应来增强阅读理解模型。该方法使用树形结构LSTM建模问题句法结构，并采用跨问题类型的软自适应机制，在SQuAD开发集上达到69.10%的EM和78.38%的F1，优于强基线模型及当时最先进的单模型性能。

ABSTRACT

The last several years have seen intensive interest in exploring neural-network-based models for machine comprehension (MC) and question answering (QA). In this paper, we approach the problems by closely modelling questions in a neural network framework. We first introduce syntactic information to help encode questions. We then view and model different types of questions and the information shared among them as an adaptation task and proposed adaptation models for them. On the Stanford Question Answering Dataset (SQuAD), we show that these approaches can help attain better results over a competitive baseline.

研究动机与目标

• 通过在问题编码中引入句法结构，提升神经机器阅读理解中的问题理解能力。
• 通过神经自适应框架，将多样化的问题类型（如what、why、when）建模为共享但独立的任务。
• 通过学习跨问题类型共享表征的同时保留类型特异性差异，降低答案预测的错误率。
• 证明句法建模与自适应机制可显著提升SQuAD基准上的性能表现。

提出的方法

• 使用树形结构LSTM（TreeLSTM）对问题的句法解析树进行编码，捕捉线性序列之外的长距离依赖关系。
• 引入显式的问类型嵌入（T-code）以表示问题类别，如'what'、'why'、'when'。
• 采用软自适应机制，通过可学习的自适应矩阵对共享基础模型进行各问题类型的微调，支持K种隐式类型。
• 采用多层次词表示，结合字符级CNN与预训练GloVe词嵌入，实现鲁棒的词编码。
• 使用双向GRU对问题和文档进行编码，随后通过双向注意力机制对齐问题与文档表征。
• 在编码器和聚合层应用dropout（0.5）以正则化模型并防止过拟合。

实验结果

研究问题

• RQ1 句法解析能否提升神经阅读理解模型中的问题表征质量？
• RQ2 将问题类型建模为自适应任务是否优于将其视为独立或共享任务？
• RQ3 自适应问题类型的数量（K）如何影响模型在SQuAD上的性能表现？
• RQ4 软自适应机制能否有效平衡共享知识与类型特异性差异？

主要发现

• 当K=100时，所提模型在SQuAD开发集上达到69.10%的EM和78.38%的F1，优于基线模型（68.00% EM，77.36% F1）。
• 添加显式问类型嵌入（T-code）后性能略有提升，达到68.16% EM和77.58% F1。
• 使用TreeLSTM进行句法编码后，性能进一步提升至68.29% EM和77.67% F1。
• 当K=20时，软自适应机制取得68.73% EM和77.74% F1，与表1中报告结果一致。
• 模型在'when'问题上表现最佳（EM/F1最高），而在'why'问题上表现最差，后者也是出现频率最低的问题类型。
• 约14.89%的预测F1得分为0%，表明这是未来错误减少的重点方向。