[论文解读] LLM-based MOFs Synthesis Condition Extraction using Few-Shot Demonstrations

Lei Shi, Z.Y. Liu+14 more|arXiv (Cornell University)|Aug 6, 2024

Nuclear Physics and Applications被引用 6

一句话总结

论文开发了一种带检索增强生成(RAG)和人机数据筛选的少样本上下文学习方法，从文献中提取MOF合成条件，表现优于零-shot大模型并改善下游MOF结构推断。

ABSTRACT

The extraction of Metal-Organic Frameworks (MOFs) synthesis route from literature has been crucial for the logical MOFs design with desirable functionality. The recent advent of large language models (LLMs) provides disruptively new solution to this long-standing problem. While the latest researches mostly stick to primitive zero-shot LLMs lacking specialized material knowledge, we introduce in this work the few-shot LLM in-context learning paradigm. First, a human-AI interactive data curation approach is proposed to secure high-quality demonstrations. Second, an information retrieval algorithm is applied to pick and quantify few-shot demonstrations for each extraction. Over three datasets randomly sampled from nearly 90,000 well-defined MOFs, we conduct triple evaluations to validate our method. The synthesis extraction, structure inference, and material design performance of the proposed few-shot LLMs all significantly outplay zero-shot LLM and baseline methods. The lab-synthesized material guided by LLM surpasses 91.1% high-quality MOFs of the same class reported in the literature, on the key physical property of specific surface area.

研究动机与目标

• 促进从MOFs文献中准确提取合成条件以用于设计与发现的需求
• 提出一个少样本上下文学习框架，以高F1值提取合成条件
• 通过人机联合数据筛选过程提升演示数据质量
• 通过RAG和离线预筛选降低提取成本并保持可扩展性
• 通过提取条件进行MOF结构推断，展示实际应用价值

提出的方法

• 引入一个人机联合数据筛选管道，以创建高质量的真实演示
• 应用基于BM25的检索增强生成（RAG）策略，为每个MOF段落选择自适应的少样本演示
• 使用GPT-4 Turbo从文献段落中提取每个MOF的10个合成条件
• 将材料知识作为背景提示，包含定义和数值/文本/结构约束
• 开发离线合成段落检测器，通过筛选相关文本来降低LLM使用成本
• 用混合LLM-正则表达式的方法评测指代词如L和H2L的共指解析

实验结果

研究问题

• RQ1 少样本上下文学习与自适应演示检索是否能在MOF合成条件提取上超越零-shot LLM？
• RQ2 数据质量、演示数量和背景知识如何影响提取性能？
• RQ3 RAG（BM25对比语义方法）对MOF合成条件提取准确性有何影响？
• RQ4 提取出的合成条件是否能显著改善下游MOF结构推断模型？

主要发现

模型	零样本R2	少样本R2
Lasso	0.1755	0.2257
Bayesian Ridge	0.1758	0.2318
AdaBoost	0.2570	0.3298
Random Forest	0.2498	0.3468
Gradient Boosting	0.2919	0.3632
XGBoost	0.3559	0.4421

• 少样本LLM提取在123个MOF、4-shot演示下的平均F1为0.93、ACC为0.90，优于零-shot（F1 0.81，ACC 0.77）
• 人机联合数据筛选提供最佳的真实演示，达到F1 0.93和ACC 0.90
• 基于BM25的RAG优于其他检索方法与随机选择，F1 0.93，ACC 0.90
• 少量样本（4次）即可达到最优性能，超过此后收益递减
• 在对5,269个MOF进行MOF结构推断时，少样本方法在所有ML模型上的R2平均较零-shot提升29.4%