[论文解读] Discriminative Gaifman Models

Mathias Niepert|arXiv (Cornell University)|Oct 28, 2016

Topic Modeling被引用 7

一句话总结

该论文提出判别式Gaifman模型，这是一种新型的关系型机器学习模型家族，通过从知识库中的有界大小、局部连接的邻域中学习，实现高效、稳健且可解释的推理。通过利用Gaifman的局部性定理，并将关系特征与深度神经网络相结合，该模型在知识库补全任务上达到最先进性能，尤其在WN18和FB15K数据集上的hits@10和hits@1指标表现优异，同时保持了较高的推理速度。

ABSTRACT

We present discriminative Gaifman models, a novel family of relational machine learning models. Gaifman models learn feature representations bottom up from representations of locally connected and bounded-size regions of knowledge bases (KBs). Considering local and bounded-size neighborhoods of knowledge bases renders logical inference and learning tractable, mitigates the problem of overfitting, and facilitates weight sharing. Gaifman models sample neighborhoods of knowledge bases so as to make the learned relational models more robust to missing objects and relations which is a common situation in open-world KBs. We present the core ideas of Gaifman models and apply them to large-scale relational learning problems. We also discuss the ways in which Gaifman models relate to some existing relational machine learning approaches.

研究动机与目标

• 开发一种可扩展、高效且可解释的关系型机器学习框架，用于大规模知识库中的复杂概率查询回答。
• 通过聚焦于局部、有界的邻域，解决现有统计关系模型在可扩展性和过拟合方面的局限性。
• 通过邻域采样和权重共享，提升对开放世界知识库中缺失关系和对象的鲁棒性。
• 在保持计算效率和可解释性的前提下，实现知识库补全任务的高性能表现。
• 将有限模型理论（Gaifman的局部性定理）的洞见与现代深度学习技术相结合，用于关系表征学习。

提出的方法

• 模型基于Gaifman图定义局部连通性，构建知识库中对象的有界半径$k$以内的局部邻域。
• 通过在查询对象周围采样多个$(r,k)$-邻域，提升模型在缺失关系情况下的鲁棒性与泛化能力。
• 从每个邻域中提取关系特征，包括对称与传递模式，如$\exists x\ \mathtt{r}(s_1,x)\land\mathtt{r}(x,s_2)$。
• 使用带有ReLU或Sigmoid激活函数及dropout（0.2）的两层前馈神经网络处理特征向量，以预测概率。
• 通过独立采样$N$个邻域并平均其概率，获得元组的最终预测结果。
• 模型采用交叉熵损失进行端到端训练，推理通过邻域生成与神经网络前向传播完成。

实验结果

研究问题

• RQ1 能否有效利用知识库中的局部、有界邻域来学习稳健且可泛化的关系统表示？
• RQ2 在开放世界知识库中，通过采样多个局部邻域如何提升模型对缺失关系和对象的鲁棒性？
• RQ3 是否可利用Gaifman局部性设计出高效且可扩展的关系学习模型，使其超越现有最先进方法？
• RQ4 邻域大小（$k$）和采样邻域数量（$N$）在多大程度上影响性能与推理速度？
• RQ5 在标准知识库补全基准测试中，Gaifman模型与基于嵌入的方法（如TransE和DistMult）相比，在效率和准确性方面表现如何？

主要发现

• 在WN18上，Gaifman模型在Hits@10（93.9）和Hits@1（76.7）两项指标上均达到最高，优于所有基线模型，包括TransE和DistMult。
• 在FB15K上，Gaifman模型的Hits@10为84.2，Hits@1为69.2，两项指标均优于所有对比方法。
• 使用$N=3$个采样邻域的性能始终优于$N=1$，证明了类似集成的邻域采样具有显著优势。
• 在WN18中，使用完整1-邻域（$k=\infty$）可获得稳定性能；而在FB15K中，较小的$k$值（如$k=20$）表现更优，因后者具有更高的度数方差。
• 当$k \leq 20$时，模型在普通硬件上实现约5,000个查询结果/秒的推理速度，展现出极高的推理效率。
• 通过邻域采样增加训练样本数量带来的性能提升，证实了利用局部结构进行数据增强的有效性。