[论文解读] No Need to Pay Attention: Simple Recurrent Neural Networks Work! (for Answering "Simple" Questions)

Ferhan Türe, Oliver Jojic|arXiv (Cornell University)|Jun 16, 2016

Topic Modeling参考文献 33被引用 12

一句话总结

本文提出了一种简单但极为有效的基于RNN的首次阶事实型问题回答方法，将任务分解为两个子问题：实体检测和关系类型分类。尽管仅使用了普通的循环网络而未采用注意力机制，该方法在SimpleQuestions基准上实现了最先进（SOTA）的准确率，并在Comcast的X1平台每日数百万查询的真实场景中表现出色。

ABSTRACT

First-order factoid question answering assumes that the question can be answered by a single fact in a knowledge base (KB). While this does not seem like a challenging task, many recent attempts that apply either complex linguistic reasoning or deep neural networks achieve 65%-76% accuracy on benchmark sets. Our approach formulates the task as two machine learning problems: detecting the entities in the question, and classifying the question as one of the relation types in the KB. We train a recurrent neural network to solve each problem. On the SimpleQuestions dataset, our approach yields substantial improvements over previously published results --- even neural networks based on much more complex architectures. The simplicity of our approach also has practical advantages, such as efficiency and modularity, that are valuable especially in an industry setting. In fact, we present a preliminary analysis of the performance of our model on real queries from Comcast's X1 entertainment platform with millions of users every day.

研究动机与目标

• 为首次阶事实型问题回答提出一种简单、高效且模块化的解决方案，适用于实时工业应用。
• 探究在简单问答任务中，是否必须使用带有注意力机制的复杂神经架构才能实现高准确率。
• 评估一个极简RNN系统在大规模娱乐平台真实用户查询上的性能表现。
• 证明：对问题结构施加强假设，可使性能与效率优于复杂模型。

提出的方法

• 该方法将问题回答分解为两个机器学习任务：在问题中检测实体，并从预定义的知识库（KB）模式中分类问题的关系类型。
• 使用双向长短期记忆网络（BiLSTM）完成实体检测与关系分类，网络结构包含两层，并采用10%的dropout进行正则化。
• 输入特征采用词嵌入（word embeddings），在大规模语料上以无监督方式训练。
• 系统在合成数据或标注训练数据上进行端到端训练，其中实体词被标记，关系类型被标注。
• 最终答案通过使用预测出的实体和关系类型查询知识库（KB）获得。
• 该模型在Comcast的X1平台上使用Keras部署，每线程仅需2个CPU核心，计算资源需求极低。

实验结果

研究问题

• RQ1 简单的RNN模型是否能在首次阶事实型问答任务上超越复杂的注意力神经网络？
• RQ2 将实体检测与关系分类分离的模块化方法在真实问答应用中效果如何？
• RQ3 在工业环境中，真实用户查询中有多少比例是一阶事实型问题？
• RQ4 问答性能中的错误在多大程度上源于实体检测错误，又在多大程度上源于关系预测错误？

主要发现

• RNN-QA在SimpleQuestions基准上实现了迄今报告的最高准确率，优于采用复杂注意力机制的模型。
• 在Comcast X1平台的真实查询中，RNN-QA正确回答了75%的问题（220/295个），平均延迟为76 ± 16 ms。
• X1平台上95%的真实用户问题为一阶事实型问题，验证了该任务的相关性。
• 错误分析显示，48%的错误源于关系预测错误，15%源于实体检测错误，表明关系分类是主要瓶颈。
• 拼写不一致（占实体检测错误的20%）和歧义（占18%）是关键挑战，可通过更优的文本归一化与消歧技术缓解。
• 消融实验确认，实体检测与关系预测均至关重要；若移除任一模块，性能将显著下降。