[论文解读] Construction and Application of Materials Knowledge Graph in Multidisciplinary Materials Science via Large Language Model

Yanpeng Ye, Jie Ren+7 more|arXiv (Cornell University)|Apr 3, 2024

Machine Learning in Materials Science被引用 4

一句话总结

本文提出了一种基于大语言模型（LLM）的流程，用于构建功能材料知识图谱（FMKG），从15万篇科学论文的摘要中提取结构化三元组，如材料名称、化学式、性质和应用。通过在极少量标注数据上微调LLM，并采用端到端方法，FMKG在实体和关系抽取方面实现了高精度，实现了跨多学科材料科学的可追溯、准确的知识集成。

ABSTRACT

Knowledge in materials science is widely dispersed across extensive scientific literature, posing significant challenges to the efficient discovery and integration of new materials. Traditional methods, often reliant on costly and time-consuming experimental approaches, further complicate rapid innovation. Addressing these challenges, the integration of artificial intelligence with materials science has opened avenues for accelerating the discovery process, though it also demands precise annotation, data extraction, and traceability of information. To tackle these issues, this article introduces the Materials Knowledge Graph (MKG), which utilizes advanced natural language processing techniques integrated with large language models to extract and systematically organize a decade's worth of high-quality research into structured triples, contains 162,605 nodes and 731,772 edges. MKG categorizes information into comprehensive labels such as Name, Formula, and Application, structured around a meticulously designed ontology, thus enhancing data usability and integration. By implementing network-based algorithms, MKG not only facilitates efficient link prediction but also significantly reduces reliance on traditional experimental methods. This structured approach not only streamlines materials research but also lays the groundwork for more sophisticated science knowledge graphs.

研究动机与目标

• 解决散落在超过1000万篇科学论文中的碎片化、非结构化材料知识问题。
• 克服现有数据库依赖计算预测或缺乏实验基础的局限性。
• 开发一种可扩展、精确且可追溯的方法，从全文科学文献中构建多学科材料知识图谱。
• 通过整合应用、合成、表征和性质数据，实现统一的知识结构，支持跨领域发现。
• 为未来知识图谱的扩展以及与现有数据库（如MatKG和Materials Project）的互操作性奠定基础。

提出的方法

• 在小规模、精心筛选的材料科学文本标注数据集上微调大语言模型，以提高实体和关系抽取的准确性。
• 采用端到端LLM流程进行联合命名实体识别（NER）与关系抽取（RE），消除对独立、易出错模块的依赖。
• 提取9种语义标签：名称、化学式、缩写、结构/相、性质、描述符、合成、表征方法、应用和领域。
• 集成数字对象标识符（DOIs），确保每个三元组均可追溯至其来源论文。
• 采用以精度为导向的关系抽取策略，牺牲部分召回率以最大化事实可靠性与数据可信度。
• 利用LLM的上下文推理能力和世界知识，即使在面对罕见或复杂材料术语时也能推断关系。

Figure 1: (a) Workflow and (b) pipeline of the fine-tuned LLM for knowledge graph tasks.

实验结果

研究问题

• RQ1 微调后的LLM能否有效从多样化材料科学领域中的科学摘要中提取结构化、可追溯的知识三元组？
• RQ2 LLM-based抽取方法在精度与召回率方面与现有NER/RE基线（如NERRE和DarwinN）相比如何？
• RQ3 与多阶段流程相比，端到端LLM流程在保持来源可追溯性的同时，能在多大程度上提升关系抽取性能？
• RQ4 所构建的知识图谱能否支持有意义的跨领域材料发现与应用映射？
• RQ5 该方法在处理全文文本和更广泛科学领域时，其可扩展性与可扩展性如何？

主要发现

• FMKG流程在关键标签上取得了具有竞争力的F1分数，尤其在精确率方面显著提升，特别是在‘缩写’方面（F1：0.727 vs. 0.500，NERRE）
• 对于‘描述符’、‘应用’和‘结构/相’，所提方法的F1分数（0.862、0.857、0.730）超过NERRE（0.704、0.832、0.829），表现出更优性能。
• 在‘名称’和‘化学式’的抽取中，该方法实现了100%的精确率，表明其在核心材料标识符上的高度可靠性。
• 端到端LLM方法在保持来源可追溯性的同时，优于多步骤流程（如MatKG2），显著提升了关系抽取质量。
• 知识图谱包含从15万篇同行评审论文中提取的数百万个实体和三元组，形成一个全面且基于实验的资源。
• 该流程可扩展至全文和其他科学领域，为特定领域知识图谱构建提供可复用的框架。

Figure 2: This schematic represents the FMKG schema (a) All the nodes in FMKG connect to all their sources - "DOI". (b) Relations between all labels. (c) Relations between core labels, the more arrows pointing to the label, the lower the priority it has.