[论文解读] Gaussian Attention Model and Its Application to Knowledge Base Embedding and Question Answering

Liwen Zhang, John Winn+1 more|arXiv (Cornell University)|Nov 7, 2016

Topic Modeling参考文献 21被引用 20

一句话总结

本文提出高斯注意力模型（Gaussian Attention Model），一种可微分的基于内容的注意力机制，利用多元正态分布似然函数对记忆项进行打分，实现从锐利到宽泛的灵活注意力控制。该模型通过自然地建模关系组合与合取查询中的不确定性，提升了知识库嵌入与问答性能，在2014年国际足联世界杯知识库的路径查询与合取查询任务上达到最先进水平。

ABSTRACT

We propose the Gaussian attention model for content-based neural memory access. With the proposed attention model, a neural network has the additional degree of freedom to control the focus of its attention from a laser sharp attention to a broad attention. It is applicable whenever we can assume that the distance in the latent space reflects some notion of semantics. We use the proposed attention model as a scoring function for the embedding of a knowledge base into a continuous vector space and then train a model that performs question answering about the entities in the knowledge base. The proposed attention model can handle both the propagation of uncertainty when following a series of relations and also the conjunction of conditions in a natural way. On a dataset of soccer players who participated in the FIFA World Cup 2014, we demonstrate that our model can handle both path queries and conjunctive queries well.

研究动机与目标

• 开发一种更具灵活性的注意力机制，可实现从锐利到宽泛的注意力控制，提升知识库推理中的神经记忆访问能力。
• 在知识图谱中遍历多个关系时，实现对不确定性的有效建模。
• 在可微分、组合式的框架中，自然地处理合取查询（例如：'谁来自德国且司职前锋？'）。
• 通过将高斯打分集成到实体嵌入与查询推理中，提升知识库上的问答性能。
• 在涉及路径遍历与逻辑合取的复杂查询上，证明该模型的优越性。

提出的方法

• 模型使用多元正态分布似然作为打分函数：score = -0.5*(v - μ)ᵀΣ⁻¹(v - μ) + const，其中μ和Σ为上下文相关的均值与协方差。
• 注意力机制为基于内容的，上下文（如查询或关系）决定高斯参数（μ, Σ），从而实现动态的注意力聚焦控制。
• 知识库实体通过该打分函数嵌入到连续向量空间中，形成类似TransE的TransGaussian模型，但具备不确定性感知的关系建模能力。
• 关系被建模为高斯变换：均值偏移与方差增加，通过高斯卷积实现组合式推理。
• 该模型通过基于高斯的合取与组合机制，同时支持路径查询（如：'谁效力于一支拥有来自德国球员的俱乐部？'）与合取查询（如：'谁来自德国且司职前锋？'）。
• 训练采用端到端优化，结合可微分注意力，支持通过梯度反传学习实体嵌入与关系参数。

实验结果

研究问题

• RQ1 通过高斯分布建模不确定性的可微分注意力机制，能否提升知识库上的推理性能？
• RQ2 高斯注意力模型在处理涉及关系组合（路径查询）与条件合取的复杂查询时，表现如何？
• RQ3 能够调节注意力分布范围（从锐利到宽泛）的能力，是否能增强知识库问答中的泛化性与鲁棒性？
• RQ4 基于高斯的打分是否能在稀疏知识库中更优地建模语义接近度与不确定性，优于标准内积注意力？
• RQ5 在复杂推理任务中，组合式训练与端到端学习对模型的收益有多大？

主要发现

• 高斯注意力模型在合取查询上达到98.81%的准确率，显著优于基线模型在该复杂查询类型上的表现。
• 在路径查询上，模型准确率达到85.94%，展现出在知识图谱多跳推理中的强大性能。
• 对于简单问题，模型在'谁效力于巴塞罗那俱乐部且司职前锋？'这一问题上达到98.77%的准确率，显示出对原子事实的高精度。
• 模型在关系组合过程中自然地处理了不确定性，即使在复杂、多步查询中性能依然稳健。
• 该模型在所有查询类型上均优于强基线模型，尤其在合取查询与路径查询上表现突出，而这些任务在内积注意力机制下表现不佳。
• 消融实验确认，高斯注意力机制控制注意力分布范围的能力，是有效应对多样化查询类型的关键因素。