[论文解读] Dataset and Neural Recurrent Sequence Labeling Model for Open-Domain Factoid Question Answering

Peng Li, Wei Li+5 more|arXiv (Cornell University)|Jul 21, 2016

Topic Modeling参考文献 32被引用 68

一句话总结

本文介绍了 WebQA，一个包含超过 42,000 个问题和 556,000 个证据段落的大规模真实世界事实型问答数据集，并提出了一种端到端的神经循环序列标注模型，将问答任务建模为使用 CRF 的序列标注任务。该模型在基于词的输入下取得 74.69% 的 F1 分数，在基于字符的输入下取得 70.97% 的 F1 分数，展示了在无需昂贵的 softmax 计算或预定义答案候选的情况下，具备鲁棒性和有效性。

ABSTRACT

While question answering (QA) with neural network, i.e. neural QA, has achieved promising results in recent years, lacking of large scale real-word QA dataset is still a challenge for developing and evaluating neural QA system. To alleviate this problem, we propose a large scale human annotated real-world QA dataset WebQA with more than 42k questions and 556k evidences. As existing neural QA methods resolve QA either as sequence generation or classification/ranking problem, they face challenges of expensive softmax computation, unseen answers handling or separate candidate answer generation component. In this work, we cast neural QA as a sequence labeling problem and propose an end-to-end sequence labeling model, which overcomes all the above challenges. Experimental results on WebQA show that our model outperforms the baselines significantly with an F1 score of 74.69% with word-based input, and the performance drops only 3.72 F1 points with more challenging character-based input.

研究动机与目标

• 解决缺乏适合用于训练和评估端到端神经问答系统的大型真实世界问答数据集的问题。
• 克服现有神经问答方法的局限性，这些方法依赖于序列生成（计算成本高昂的 softmax）或分类/排序（需要预定义候选或独立的生成组件）。
• 提出一种新的答案生成设计，计算效率高，能处理 OOV（未登录词）问题，并支持端到端训练。
• 通过为每个问题提供多个由人工标注的证据，支持证据排序和答案句子选择方面的研究。

提出的方法

• 将开放域事实型问答建模为序列标注问题，模型预测在检索到的证据段落中答案跨度的起始和结束位置。
• 使用条件随机场（CRF）层来建模标签依赖关系，提高跨度边界预测的准确性。
• 对问题和证据段落分别使用双向 LSTM 编码器，以捕捉上下文表示。
• 通过单次注意力机制计算问题和证据的表示，动态加权相关词语。
• 通过联合训练将神经特征（如词嵌入、q-e.comm、e-e.comm）与 CRF 集成，避免手动特征工程。
• 支持基于词和基于字符的输入，以增强对罕见或未见词语的鲁棒性。

实验结果

研究问题

• RQ1 序列标注方法是否能在开放域事实型问答中超越传统的序列生成和基于分类的方法？
• RQ2 与基于 softmax 的生成方法相比，使用 CRF 的端到端神经序列标注模型在处理未见词和降低计算成本方面有多高效？
• RQ3 在问答设置中，与可训练嵌入相比，固定预训练词嵌入在提升泛化能力方面有多大优势？
• RQ4 在基于字符的输入下，该模型表现如何？与基于词的输入相比，在鲁棒性和准确性方面有何差异？
• RQ5 问题-证据交互特征（如 q-e.comm）对序列标注模型整体性能的贡献有多大？

主要发现

• 所提出的序列标注模型在 WebQA 数据集上使用基于词的输入，取得了 74.69% 的 F1 分数，显著优于基线方法。
• 在基于字符的输入下，模型保持了强劲性能，F1 分数达到 70.97%，仅比基于词的版本下降 3.72 分，表明其对未登录词具有良好的鲁棒性。
• 固定预训练词嵌入（如来自语言模型的嵌入）相比可训练嵌入，能带来更好的泛化能力并降低过拟合风险，因为可训练嵌入因参数量增加和归纳偏置不足而降低性能。
• q-e.comm 特征（表示某个词是否同时出现在问题和证据中）非常有效，有助于模型识别非答案词，对性能提升贡献显著。
• 用于问题表示的单次注意力机制优于最大池化或平均池化，表明灵活的选择性注意力在捕捉相关问题特征方面更有效。
• 具有跨层连接的更深更宽的 LSTM 结构提升了性能，表明建模证据中的长距离依赖关系对答案跨度检测有益。