[论文解读] Extracting Mathematical Concepts with Large Language Models

Valeria de Paiva, Qiyue Gao+2 more|arXiv (Cornell University)|Aug 29, 2023

Mathematics, Computing, and Information ProcessingComputer Science被引用 3

一句话总结

本文提出了一种利用大型语言模型（LLMs）如ChatGPT从范畴论文本中提取数学概念的流程，结合人工标注指南与LLM提示技术以提高准确性。尽管LLMs在初步术语提取中展现出潜力，但目前仍无法与人类专家相媲美，尤其是在识别隐含或基于上下文推断的数学概念方面。

ABSTRACT

We extract mathematical concepts from mathematical text using generative large language models (LLMs) like ChatGPT, contributing to the field of automatic term extraction (ATE) and mathematical text processing, and also to the study of LLMs themselves. Our work builds on that of others in that we aim for automatic extraction of terms (keywords) in one mathematical field, category theory, using as a corpus the 755 abstracts from a snapshot of the online journal "Theory and Applications of Categories", circa 2020. Where our study diverges from previous work is in (1) providing a more thorough analysis of what makes mathematical term extraction a difficult problem to begin with; (2) paying close attention to inter-annotator disagreements; (3) providing a set of guidelines which both human and machine annotators could use to standardize the extraction process; (4) introducing a new annotation tool to help humans with ATE, applicable to any mathematical field and even beyond mathematics; (5) using prompts to ChatGPT as part of the extraction process, and proposing best practices for such prompts; and (6) raising the question of whether ChatGPT could be used as an annotator on the same level as human experts. Our overall findings are that the matter of mathematical ATE is an interesting field which can benefit from participation by LLMs, but LLMs themselves cannot at this time surpass human performance on it.

研究动机与目标

• 调查大型语言模型（LLMs）是否能有效从学术文本中提取数学概念，特别是在范畴论领域。
• 解决数学文本中自动术语提取（ATE）的挑战，此类文本与一般自然语言处理领域存在显著差异，因其具有专业词汇和结构惯例。
• 为人类与LLM标注者制定标准化的标注指南，以提高一致性并减少标注者间分歧。
• 评估ChatGPT相较于人类专家的性能，评估其在识别关键数学术语方面的可靠性与局限性。
• 通过结合LLM提取的术语与人工验证及反馈，构建一个社区驱动的交互式数学概念知识图谱。

提出的方法

• 以《理论与应用范畴论》期刊（约2020年）的755篇文摘作为术语提取的主要数据源，构建语料库。
• 制定了一套详细的标注指南，以标准化数学术语的识别，包括处理多词表达和隐含概念等边界情况。
• 设计了一款定制化标注工具，支持人类标注者在数学与非数学领域均能开展ATE流程。
• 对ChatGPT应用结构化提示技术，使用一致的提示模板从同一语料库中提取数学术语。
• 开展三项实验：（1）仅由人类标注，（2）仅由LLM提取，（3）从nLab网站的55,000个句子中进行LLM提取，并整合社区反馈。
• 使用Jaccard指数衡量人类专家之间的标注一致性，并将LLM输出与人类标注的黄金标准进行对比。

实验结果

研究问题

• RQ1 大型语言模型（如ChatGPT）在从范畴论文本中提取数学概念方面，与人类专家相比，其准确性如何？
• RQ2 在自动数学术语提取中，特别是针对隐含或基于上下文推断的术语，主要挑战是什么？
• RQ3 标注指南与工具如何提升数学ATE中人类标注者的一致性并减少分歧？
• RQ4 LLM能否作为可靠的初步标注者，还是必须经过大量后期处理与人工验证？
• RQ5 社区反馈在完善与验证LLM提取的数学概念以构建知识图谱方面，发挥何种作用？

主要发现

• ChatGPT在数学术语提取中可产生可接受的初步结果，但无法识别如“非阿廷环”等重要隐含概念，而人类专家能够识别。
• LLM频繁将“猜想”或“偶数”等非数学术语误认为数学概念，表明当前模型在语义区分上存在不足。
• 尽管有详细指南，人类专家之间的标注一致性仍较低，凸显了为数学术语（尤其是复杂或多词表达）划定清晰边界的困难。
• 通过Jaccard指数测量了人类标注者之间的标注一致性，为未来数学ATE研究提供了量化基线。
• 本研究证明，LLM可作为概念提取的首轮有效工具，尤其在结合社区反馈与验证时。
• 作者建议将从55,000个nLab句子中提取的ChatGPT术语作为社区协作维护的知识图谱的起点，并引入持续的用户批准/否决机制。