[论文解读] Thinking, Fast and Slow: Combining Vector Spaces and Knowledge Graphs

Sudip Mittal, Anupam Joshi+1 more|arXiv (Cornell University)|Aug 10, 2017

Advanced Graph Neural Networks参考文献 38被引用 33

一句话总结

本文提出了向量知识图谱（VKG）结构，这是一种混合知识表示方法，将向量空间模型与知识图谱统一，以实现高效且具备推理能力的语义搜索。通过将查询分解为‘快速’的向量空间搜索和‘慢速’的知识图谱推理，VKG在性能上优于独立模型，在语义搜索任务中实现了0.80的MAP——显著优于向量模型（0.69）和知识图谱（0.43）。

ABSTRACT

Knowledge graphs and vector space models are robust knowledge representation techniques with individual strengths and weaknesses. Vector space models excel at determining similarity between concepts, but are severely constrained when evaluating complex dependency relations and other logic-based operations that are a strength of knowledge graphs. We describe the VKG structure that helps unify knowledge graphs and vector representation of entities, and enables powerful inference methods and search capabilities that combine their complementary strengths. We analogize this to thinking `fast' in vector space along with thinking 'slow' and `deeply' by reasoning over the knowledge graph. We have created a query processing engine that takes complex queries and decomposes them into subqueries optimized to run on the respective knowledge graph or vector view of a VKG. We show that the VKG structure can process specific queries that are not efficiently handled by vector spaces or knowledge graphs alone. We also demonstrate and evaluate the VKG structure and the query processing engine by developing a system called Cyber-All-Intel for knowledge extraction, representation and querying in an end-to-end pipeline grounded in the cybersecurity informatics domain.

研究动机与目标

• 解决独立向量空间模型与知识图谱在捕捉语义相似性与声明性推理方面的局限性。
• 开发一个统一框架，融合两种表示的优势，以支持复杂查询处理。
• 通过将查询分解为搜索、列表和推理操作，实现高效混合查询执行。
• 在真实网络空间安全领域中通过Cyber-All-Intel系统验证该方法的有效性。

提出的方法

• 设计VKG结构，将向量嵌入与形式化知识图谱集成，使用共享词汇表与本体模式。
• 构建查询处理引擎，自动将复杂查询分解为子查询，分别针对向量空间或知识图谱组件进行优化。
• 采用关系并发假设，通过word2vec和GloVe生成词嵌入，并将其与知识图谱实体对齐。
• 实施两阶段链接过程，利用共享语料库词汇将向量空间嵌入映射到知识图谱节点。
• 实现三种查询类型：'search'（向量空间）、'list'（知识图谱）和'infer'（基于图三元组的逻辑推理）。
• 通过从NVD、暗网和安全博客等多样化来源提取并结构化威胁与漏洞数据，将系统扎根于网络空间安全领域。

实验结果

研究问题

• RQ1 结合向量空间与知识图谱的混合知识表示是否能超越单一模型，在语义搜索性能上实现提升？
• RQ2 复杂查询应如何有效分解为子查询，以充分发挥向量空间相似性搜索与知识图谱推理的优势？
• RQ3 在知识图谱中集成声明性断言在多大程度上能提升基于向量的搜索结果的准确率与相关性？
• RQ4 VKG结构能否高效处理对单一向量模型或知识图谱均不可行的查询？

主要发现

• VKG结构在语义搜索任务中实现了0.80的平均平均精度（MAP），显著优于独立的向量模型（0.69）和知识图谱（0.43）。
• 在56个评估的相似性组中，向量空间模型单独表现优于知识图谱的有47组（占83%），凸显其在语义相似性计算方面的优势。
• 知识图谱组件表现出高准确性，83%的三元组经人工标注为正确，97%的向量与图节点之间的实体链接被判定为正确。
• 系统成功处理了复杂网络安全查询，如“若在MySQL中发现与拒绝服务相似的漏洞，则发出警报”，展示了端到端的推理与检索能力。
• 查询分解引擎有效将‘search’操作路由至向量空间，将‘list’/‘infer’操作路由至知识图谱，实现了可扩展且准确的混合推理。
• Cyber-All-Intel系统展示了基于VKG结构构建端到端网络安全情报流水线的可行性，整合了来自NVD、暗网和安全博客等多样化数据源。