[论文解读] Character-Level Question Answering with Attention

David Golub, Xiaodong He|arXiv (Cornell University)|Apr 4, 2016

Topic Modeling参考文献 33被引用 91

一句话总结

本论文提出了一种基于注意力机制的字符级编码器-解码器模型，用于结构化知识库的问答任务，利用字符级嵌入提升对未见实体的泛化能力。该模型在SimpleQuestions数据集上达到70.9%的准确率，较之前最先进方法高出8.2个百分点，同时参数量仅为后者的1/16，且无需数据增强，训练数据需求显著减少。

ABSTRACT

We show that a character-level encoder-decoder framework can be successfully applied to question answering with a structured knowledge base. We use our model for single-relation question answering and demonstrate the effectiveness of our approach on the SimpleQuestions dataset (Bordes et al., 2015), where we improve state-of-the-art accuracy from 63.9% to 70.9%, without use of ensembles. Importantly, our character-level model has 16x fewer parameters than an equivalent word-level model, can be learned with significantly less data compared to previous work, which relies on data augmentation, and is robust to new entities in testing.

研究动机与目标

• 解决将自然语言问题映射到结构化知识库查询的挑战，尤其是在训练时未见过的实体和谓词情况下。
• 通过利用字符级建模提升对未登录词实体和谓词的泛化能力，减少对数据增强的依赖。
• 开发一种紧凑高效的神经网络模型，在事实型问答任务中保持高性能。
• 证明字符级表示能够捕捉生成准确知识库查询所必需的语义信息，即使缺乏词级监督。

提出的方法

• 双向LSTM编码器逐字符处理问题，通过注意力机制关注输入字符，生成上下文向量。
• 解码器基于问题的字符级隐藏状态使用注意力机制，逐 token 生成知识库查询，其嵌入由字符级表示生成。
• 联合训练问题、实体和谓词的字符级嵌入，用于计算语义相关性得分，无需依赖词级词汇表。
• 采用通用交互函数，通过测量问题嵌入与知识库条目嵌入之间的语义相似度，计算每个知识库条目（实体或谓词）的可能性。
• 模型采用软注意力机制，可关注非连续的字符片段，从而捕捉复杂的语言结构。
• 整个架构端到端训练，以最大化正确知识库查询的生成概率。

实验结果

研究问题

• RQ1 字符级神经模型能否在结构化知识库问答任务中超越词级模型？
• RQ2 字符级模型对训练数据中未出现的实体和谓词的泛化能力如何？
• RQ3 与先前方法相比，字符级编码器-解码器框架是否能在显著更少的训练数据下实现高准确率？
• RQ4 在自然语言问题上以字符级运行时，注意力机制学习到了何种语义模式？
• RQ5 字符级建模能否消除知识库问答中对数据增强的需求？

主要发现

• 模型在Freebase2M设置下达到70.9%准确率，在Freebase5M设置下达到70.3%，分别较最先进结果提升8.2和6.4个百分点。
• 与等效的词级模型相比，该模型参数量仅为后者的1/16，展现出更紧凑高效的架构。
• 模型对未见实体具有强鲁棒性，能正确预测训练中未出现的别名（如'phrenology'），归因于字符级模式学习。
• 注意力分布显示，模型学会将空格识别为语义分隔符，并能关注不连续的字符片段以处理复杂提及。
• 错误分析表明，46%的错误源于对相似谓词的混淆（如'/music/release/track'与'/music/release/track_list'），提示需改进消歧能力。
• 模型能成功关注'大学'等对实体和谓词预测均有贡献的词汇，表明其无需严格区分实体与谓词提及。