[论文解读] Growing the Digital Repository of Mathematical Formulae with Generic LaTeX Sources

Howard S. Cohl, Moritz Schubotz+5 more|arXiv (Cornell University)|May 6, 2015

Mathematics, Computing, and Information Processing参考文献 11被引用 4

一句话总结

本文提出一种方法，通过自动推断上下文无关的语义元数据（如符号、替换和约束），对数学公式的一般 LaTeX 源文件（特别是来自 KLS 和 KLSadd 图书的源文件）进行语义增强。该方法可生成标准化、机器可读的公式主页，内容为高质量的 MathML，实现 98.6% 的符号列表完整度，并为未来与计算机代数系统集成奠定基础。

ABSTRACT

One initial goal for the DRMF is to seed our digital compendium with fundamental orthogonal polynomial formulae. We had used the data from the NIST Digital Library of Mathematical Functions (DLMF) as initial seed for our DRMF project. The DLMF input LaTeX source already contains some semantic information encoded using a highly customized set of semantic LaTeX macros. Those macros could be converted to content MathML using LaTeXML. During that conversion the semantics were translated to an implicit DLMF content dictionary. This year, we have developed a semantic enrichment process whose goal is to infer semantic information from generic LaTeX sources. The generated context-free semantic information is used to build DRMF formula home pages for each individual formula. We demonstrate this process using selected chapters from the book "Hypergeometric Orthogonal Polynomials and their $q$-Analogues" (2010) by Koekoek, Lesky and Swarttouw (KLS) as well as an actively maintained addendum to this book by Koornwinder (KLSadd). The generic input KLS and KLSadd LaTeX sources describe the printed representation of the formulae, but does not contain explicit semantic information. See http://drmf.wmflabs.org.

研究动机与目标

• 开发一个可扩展的流水线，将缺乏显式语义标记的通用 LaTeX 源文件转换为富含语义信息、机器可处理的公式主页。
• 支持建立一个数字数学公式库（DRMF），支持语义搜索、超链接功能，并与计算机代数系统集成。
• 克服长期以来从非语义 LaTeX 生成可靠内容 MathML 的挑战，通过引入自动化语义增强技术。
• 建立评估指标和黄金标准，以评估语义增强的质量，特别是针对替换和约束等公式元数据。
• 通过统一的宏替换和元数据提取流水线，将多样化来源（包括印刷书籍、OCR 处理的图像和 Wolfram Language 代码）扩展至 DRMF。

提出的方法

• 解析来自 KLS 和 KLSadd 图书的通用 LaTeX 源文件，这些源文件仅包含呈现级标记，无显式语义宏。
• 应用基于规则和机器学习的技术，从 LaTeX 文本中检测并推断符号、替换、约束和公式名称等语义信息。
• 自动在 LaTeX 源文件中插入 DLMF 和 DRMF 特有的语义宏，以编码数学含义，从而支持下游内容 MathML 的生成。
• 使用自定义宏替换系统将普通 LaTeX 转换为嵌入元数据的语义增强型 LaTeX，确保一致性和正确性。
• 使用标准化模板和超链接框架，生成包含符号列表、证明和参考文献等结构化元数据的公式主页。
• 利用 LATEXML 和 sTeX 等现有工具支持宏定义和内容 MathML 转换，确保与现代数学网络标准的兼容性。

实验结果

研究问题

• RQ1 如何从缺乏显式语义标记的通用 LaTeX 源文件中自动推断符号、替换和约束等语义信息？
• RQ2 基于规则和机器学习的方法在检测和增强非语义 LaTeX 中的数学公式元数据方面的有效性如何？
• RQ3 从语义增强后的 LaTeX 源文件自动生成的内容 MathML，其质量与一致性在多大程度上可与手工整理的内容 MathML 相媲美？
• RQ4 如何设计一个可扩展且可维护的流水线，将印刷书籍、OCR 输出和计算代码等多样化来源整合到统一的数学公式数字资源库中？
• RQ5 可开发哪些评估指标来衡量数学公式语义增强的准确性与完整性，特别是针对替换和约束？

主要发现

• 语义增强流水线成功从 KLS 和 KLSadd 数据集中生成了 1,219 个公式主页，其中 98.6% 的公式主页包含非空的符号列表。
• 共检测并自动插入了原本作为独立公式的 208 个替换项，覆盖 515 个公式，显著提升了元数据的完整性。
• 该方法生成了高质量的内容 MathML，解决了数学信息检索领域长期存在的挑战，实现了机器可读、可扩展且可搜索的数学内容。
• 通过将增强后的 LaTeX 转换为 Mathematica、Maple 和 Sage 等系统兼容的格式，该方法为未来与计算机代数系统的集成铺平了道路。
• 本项目已建立约束和证明检测以及宏替换的黄金标准，为未来在数学文本处理中评估 NLP 和机器学习方法提供了支持。
• 该流水线具有可扩展性，目前已应用于额外来源，包括 OCR 处理的图书图像（BMP）和 Wolfram eCF 数据集，并正在开发 Wolfram 语言与语义 LaTeX 之间的双向转换。