[论文解读] IDEL: In-Database Entity Linking with Neural Embeddings

Torsten Kilias, Alexander Löser+4 more|arXiv (Cornell University)|Mar 13, 2018

Topic Modeling参考文献 22被引用 8

一句话总结

IDEL 首次提出了一种集成的数据库内实体链接系统，将 MonetDB 与神经嵌入结合，将文本提及链接到关系型实体。通过在数据库中使用 Python UDF 直接执行神经文本挖掘，并结合联合向量空间嵌入，IDEL 实现了零数据传输成本，利用对比排序损失和最近邻索引实现快速、准确的实体链接，在模糊和噪声较多的文本数据上实现了高召回率。

ABSTRACT

We present a novel architecture, In-Database Entity Linking (IDEL), in which we integrate the analytics-optimized RDBMS MonetDB with neural text mining abilities. Our system design abstracts core tasks of most neural entity linking systems for MonetDB. To the best of our knowledge, this is the first defacto implemented system integrating entity-linking in a database. We leverage the ability of MonetDB to support in-database-analytics with user defined functions (UDFs) implemented in Python. These functions call machine learning libraries for neural text mining, such as TensorFlow. The system achieves zero cost for data shipping and transformation by utilizing MonetDB's ability to embed Python processes in the database kernel and exchange data in NumPy arrays. IDEL represents text and relational data in a joint vector space with neural embeddings and can compensate errors with ambiguous entity representations. For detecting matching entities, we propose a novel similarity function based on joint neural embeddings which are learned via minimizing pairwise contrastive ranking loss. This function utilizes a high dimensional index structures for fast retrieval of matching entities. Our first implementation and experiments using the WebNLG corpus show the effectiveness and the potentials of IDEL.

研究动机与目标

• 解决在企业数据系统中将模糊或噪声较多的文本提及链接到结构化关系型实体的挑战。
• 通过将神经 NLP 能力直接嵌入数据库，消除独立 RDBMS 与 NLP 系统之间数据传输和转换的成本。
• 利用联合神经嵌入和数据库内相似性计算，实现高效、可扩展的实体链接。
• 通过将新鲜文本数据链接到现有关系型数据库，支持品牌监控和灾害风险评估等现实应用场景。
• 展示在单一、优化的 RDBMS 内实现端到端神经实体链接的可行性和性能。

提出的方法

• 通过扩展 MonetDB 以支持使用 Python 编写的用户自定义函数（UDF），调用 TensorFlow 执行神经嵌入计算，实现 MonetDB 与神经文本挖掘的集成。
• 使用基于 SkipThought 的神经嵌入，在共享的高维向量空间中表示文本提及和关系型实体。
• 采用成对对比排序损失训练嵌入模型，优化正确实体匹配相对于负样本对的区分能力。
• 使用高维索引结构（如近似最近邻）加速链接过程中候选实体的检索。
• 所有处理——嵌入生成、相似性评分和候选检索——均在 MonetDB 内核中执行，避免数据移动。
• 利用 MonetDB 通过 NumPy 数组交换数据的能力，实现在数据库内高效计算，最小化开销。

实验结果

研究问题

• RQ1 是否可以在不进行外部数据传输的情况下，在关系型数据库管理系统中有效且高效地执行神经实体链接？
• RQ2 在共享向量空间中的联合神经嵌入在多义或噪声较多的实体提及上，能否显著提升召回率和精确率？
• RQ3 使用 UDF 将神经 NLP 能力直接集成到数据库引擎中，其性能影响如何？
• RQ4 在数据库内执行结合向量空间相似性和近似索引，能否实现可扩展且低延迟的实体链接？
• RQ5 在真实世界实体链接中常见的多类别、高歧义场景下，对比排序损失的表现如何？

主要发现

• IDEL 成功实现了首个完全集成的数据库内实体链接系统，基于 MonetDB 和神经嵌入，彻底消除了数据搬运成本。
• 通过联合神经嵌入有效处理同义词、多义词和拼写错误，系统在 WebNLG 语料库上实现了高召回率。
• 对比排序损失的使用使模型能够学习到鲁棒的相似性函数，准确区分正确与错误的实体匹配。
• 高维索引结构显著加速了候选实体的检索，使系统适用于大规模数据库。
• Python UDF 与 TensorFlow 的集成实现了复杂 NLP 流水线在数据库内的无缝执行，保持了数据局部性。
• 该方法使企业能够统一数据集成与分析工作流，减少对多个异构系统的依赖。