[论文解读] Math-KG: Construction and Applications of Mathematical Knowledge Graph

Jianing Wang|arXiv (Cornell University)|May 8, 2022

Topic Modeling被引用 7

一句话总结

本文提出 Math-KG，一种基于 Baidu Baike 和 Wikipedia 构建的基于流水线的数学知识图谱，采用 BERT+CRF 进行实体识别，BERT+Attention 进行关系分类等自然语言处理技术。其在知识实体识别上达到 92.62% 的 F1 值，在关系分类上达到 85.09% 的 F1 值，支持数学教育中的故障分析与语义搜索等应用。

ABSTRACT

Recently, the explosion of online education platforms makes a success in encouraging us to easily access online education resources. However, most of them ignore the integration of massive unstructured information, which inevitably brings the problem of extit{information overload} and extit{knowledge trek}. In this paper, we proposed a mathematical knowledge graph named Math-KG, which automatically constructed by the pipeline method with the natural language processing technology to integrate the resources of the mathematics. It is built from the corpora of Baidu Baike, Wikipedia. We implement a simple application system to validate the proposed Math-KG can make contributions on a series of scenes, including faults analysis and semantic search. The system is publicly available at GitHub \footnote{\url{https://github.com/wjn1996/Mathematical-Knowledge-Entity-Recognition}.}.

研究动机与目标

• 为解决在线数学教育中信息过载与知识碎片化问题，整合非结构化资源。
• 从半结构化与非结构化语料中构建大规模、结构化的数学知识库。
• 评估基于自然语言处理的流水线组件在数学知识抽取中的性能。
• 在实际教育应用中验证 Math-KG 的有效性，如故障分析与语义搜索。

提出的方法

• 通过语料预处理、命名实体识别、关系分类与知识融合的流水线构建 Math-KG。
• 使用网络爬虫从 Baidu Baike 和 Wikipedia 收集数据，提取类别、摘要、正文、信息框与公式。
• 使用 spaCy 进行分词、词性标注与依存句法分析；使用 MathOCR 将数学公式转换为 LaTeX 格式。
• 定义六种关系类型：依赖、隶属、等价、对立、同义与具有属性。
• 在 8,950 个样本上训练 BERT+CRF 模型进行知识实体识别（KER），F1 值达 92.62%。
• 在 13,365 个样本上训练 BERT+Attention+Softmax 模型进行实体关系分类（ERC），F1 值达 85.09%。

实验结果

研究问题

• RQ1 基于流水线的自然语言处理方法能否有效从非结构化数学文本中提取结构化知识？
• RQ2 自然语言模型在中文与英文教育文本中识别数学实体及其关系的准确度如何？
• RQ3 构建的数学知识图谱能否支持故障分析与语义搜索等实际教育应用？
• RQ4 在低资源数学自然语言处理设置下，实体识别与关系分类的性能如何？

主要发现

• 知识实体识别（KER）模型在测试集上达到 92.62% 的 F1 值，表明其在识别数学实体方面表现优异。
• 实体关系分类（ERC）模型达到 85.09% 的 F1 值，证明其能有效识别六种预定义的数学关系。
• 最终的 Math-KG 包含 1,905 个数学知识点实体与 8,019 个三元组，其中包含 1,337 个概念实体与 568 个定理实体。
• 关系分布显示：2,016 个依赖关系、2,609 个隶属关系、76 个等价关系、301 个对立关系、493 个同义关系与 2,524 个“具有属性”关系。
• 故障分析应用通过分析相关知识点的子图，成功识别出学生错误的根本原因。
• 语义搜索系统正确检索出多跳路径，例如从“三角形”到“外接圆半径”，采用 TransE 嵌入与相似度评分实现。