[论文解读] Bidirectional Attentive Memory Networks for Question Answering over Knowledge Bases

Yu Chen, Lingfei Wu+1 more|arXiv (Cornell University)|Mar 6, 2019

Topic Modeling参考文献 40被引用 11

一句话总结

该论文提出BAMnet，一种双向注意力记忆网络，通过建模问题与知识库（KBs）之间的双向交互来提升问答性能。通过利用层次注意力机制捕捉问题词与KB方面（如实体、关系和答案类型）之间的相互关联性，BAMnet在基于信息检索的KBQA方法中实现了最先进性能，超越了先前的IR方法，并与人工设计的语义解析方法相当，同时通过注意力可视化提升了可解释性。

ABSTRACT

When answering natural language questions over knowledge bases (KBs), different question components and KB aspects play different roles. However, most existing embedding-based methods for knowledge base question answering (KBQA) ignore the subtle inter-relationships between the question and the KB (e.g., entity types, relation paths and context). In this work, we propose to directly model the two-way flow of interactions between the questions and the KB via a novel Bidirectional Attentive Memory Network, called BAMnet. Requiring no external resources and only very few hand-crafted features, on the WebQuestions benchmark, our method significantly outperforms existing information-retrieval based methods, and remains competitive with (hand-crafted) semantic parsing based methods. Also, since we use attention mechanisms, our method offers better interpretability compared to other baselines.

研究动机与目标

• 通过捕捉问题与KB内容之间动态的双向交互，解决现有KBQA方法中存在的词汇鸿沟和交互建模薄弱问题。
• 在不依赖人工规则或外部资源的前提下，通过注意力机制实现端到端学习，提升KBQA的答案准确率。
• 通过使问题组件与KB方面之间的注意力流动显式可见且可分析，增强模型的可解释性。
• 在保持对多样化KB的可扩展性和泛化能力的同时，实现与基于语义解析方法相当的竞争力表现。

提出的方法

• BAMnet采用两层双向注意力机制：主注意力层计算问题词与KB方面（如实体、关系、答案类型）之间的交叉注意力，实现相互聚焦。
• 次级注意力层，即‘增强模块’，通过进一步利用双向注意力流来优化问题和KB表示，提升特征抽象能力。
• 模型使用内容可寻址记忆来存储和检索KB方面，实现在推理过程中对相关知识的动态访问。
• 通过引入实体去词汇化（主题和约束）提升泛化能力并减少过拟合，其中主题去词汇化显示出显著的性能提升。
• 采用对比损失目标进行端到端训练以优化答案预测，并通过注意力权重可视化提升可解释性。
• 该方法无需外部知识或人工设计特征，完全依赖注意力驱动的交互建模。

实验结果

研究问题

• RQ1 与独立编码方法相比，建模问题与KB方面之间的双向、层次注意力是否能显著提升KBQA性能？
• RQ2 注意力的双向流动在多大程度上增强了KBQA中模型的可解释性和透明度？
• RQ3 不同的去词汇化策略（主题 vs. 约束）对KBQA模型的泛化能力和鲁棒性有何影响？
• RQ4 基于注意力的IR方法是否能在不依赖基于规则或模式匹配组件的前提下，实现与人工设计的语义解析方法相当的性能？

主要发现

• 在WebQuestions基准上，BAMnet显著优于所有先前基于信息检索的KBQA方法，创下该类别新SOTA结果。
• BAMnet在性能上与人工设计的语义解析方法保持竞争力，表明端到端注意力机制可与基于规则的系统在准确率上相媲美。
• 消融实验表明，移除双向注意力机制会导致性能显著下降，验证了其在建模交互中的关键作用。
• 次级注意力层（增强模块）对性能有显著贡献，表明层次注意力能有效提升表征学习能力。
• 主题实体去词汇化显著提升了模型泛化能力，而约束去词汇化仅带来微弱增益。
• 错误分析显示，33%的低性能案例源于黄金答案标签问题，表明模型实际性能可能优于指标分数所反映。