[论文解读] An Attention-Based Word-Level Interaction Model: Relation Detection for Knowledge Base Question Answering

Hongzhi Zhang, Guandong Xu+3 more|arXiv (Cornell University)|Jan 30, 2018

Topic Modeling参考文献 37被引用 12

一句话总结

本文提出了一种基于注意力机制的词级交互模型（ABWIM），用于知识库问答（KBQA）中的关系检测，该模型用问题与关系词之间的软注意力对齐替代了基于池化的序列压缩方法。通过在词级表示上进行细粒度的、基于CNN的对比，ABWIM减少了信息损失，并在SimpleQuestions和WebQuestions数据集上实现了最先进（SOTA）的准确率。

ABSTRACT

Relation detection plays a crucial role in Knowledge Base Question Answering (KBQA) because of the high variance of relation expression in the question. Traditional deep learning methods follow an encoding-comparing paradigm, where the question and the candidate relation are represented as vectors to compare their semantic similarity. Max- or average- pooling operation, which compresses the sequence of words into fixed-dimensional vectors, becomes the bottleneck of information. In this paper, we propose to learn attention-based word-level interactions between questions and relations to alleviate the bottleneck issue. Similar to the traditional models, the question and relation are firstly represented as sequences of vectors. Then, instead of merging the sequence into a single vector with pooling operation, soft alignments between words from the question and the relation are learned. The aligned words are subsequently compared with the convolutional neural network (CNN) and the comparison results are merged finally. Through performing the comparison on low-level representations, the attention-based word-level interaction model (ABWIM) relieves the information loss issue caused by merging the sequence into a fixed-dimensional vector before the comparison. The experimental results of relation detection on both SimpleQuestions and WebQuestions datasets show that ABWIM achieves state-of-the-art accuracy, demonstrating its effectiveness.

研究动机与目标

• 为解决传统KBQA关系检测模型中因对序列表示进行最大池化/平均池化而导致的信息瓶颈问题。
• 通过建模细粒度的、基于注意力驱动的词级交互，改进问题与关系之间的语义相似度度量。
• 缓解编码-比较框架的局限性，该框架在比较前将序列压缩为固定维向量。
• 通过直接比较词表示以保留低级语义细节，提升KBQA中关系检测的准确性。
• 评估基于注意力的词级交互在捕捉开放域问答中细微语义关系方面的有效性。

提出的方法

• 使用双向LSTM（Bi-LSTM）对问题和候选关系进行上下文感知编码，将其表示为词嵌入序列。
• 为问题中的每个词与关系中的所有词学习软注意力对齐，为每个问题词生成上下文感知的加权关系表示。
• 应用多核卷积神经网络（CNN）在词级上比较问题词表示与注意力加权的关系表示。
• 对CNN输出进行最大池化，将比较特征聚合为固定大小的表示，用于相似度评分。
• 使用最终的逻辑回归层预测问题与关系之间的语义相似度得分，以判断该关系是否相关。
• 集成注意力机制，动态强调语义相关的词对，提升对齐准确度。

实验结果

研究问题

• RQ1 基于注意力的词级交互在KBQA关系检测中是否优于传统的基于池化的编码-比较模型？
• RQ2 与固定维向量压缩相比，保留低级词级交互在多大程度上减少了信息损失？
• RQ3 所提出的注意力机制在对齐问题与关系路径之间的语义相关词方面有多有效？
• RQ4 在注意力加权表示上使用基于CNN的比较是否提升了相似度度量的准确性？
• RQ5 不同的预处理策略（LSTM、CNN、门控线性单元）对ABWIM模型整体性能有何影响？

主要发现

• ABWIM在SimpleQuestions和WebQuestions两个数据集上均实现了最先进（SOTA）的性能，关系检测准确率超过现有深度学习基线模型。
• 消融实验表明，预处理用的Bi-LSTM层显著提升了性能，优于CNN和门控线性变换基线，原因在于其对长距离依赖关系的建模能力更强。
• 注意力矩阵的可视化显示，ABWIM学习到了有意义的对齐，聚焦于'大学'和'参加'等对关系语义相关的关键词。
• CNN层输出的可视化证实，模型在比较过程中能够强调重要词汇，表明其具备有效的特征学习能力。
• 即使不使用任何预处理，该模型仍表现良好，证明了词级注意力交互在减少信息损失方面的内在有效性。
• 使用Bi-LSTM进行预处理相比其他方法能提供更优的上下文表示，从而对整体SOTA结果有显著贡献。