[论文解读] Materials science in the era of large language models: a perspective

Ge Lei, R. Docherty+1 more|arXiv (Cornell University)|Mar 11, 2024

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

本文從整合大語言模型（LLMs）的觀點出發，探討其在材料科學研究中的應用，展示其在自動化顯微組織分析與從科學文獻中提取大規模知識方面的實用性。透過使用經精心設計的提示詞與大語言模型及視覺-語言模型（VLMs），作者實現了高準確度的顯微照片檢測與圖表說明及摘要中的元數據提取，顯著加速了資料整理與分析工作流程。

ABSTRACT

Large Language Models (LLMs) have garnered considerable interest due to their impressive natural language capabilities, which in conjunction with various emergent properties make them versatile tools in workflows ranging from complex code generation to heuristic finding for combinatorial problems. In this paper we offer a perspective on their applicability to materials science research, arguing their ability to handle ambiguous requirements across a range of tasks and disciplines mean they could be a powerful tool to aid researchers. We qualitatively examine basic LLM theory, connecting it to relevant properties and techniques in the literature before providing two case studies that demonstrate their use in task automation and knowledge extraction at-scale. At their current stage of development, we argue LLMs should be viewed less as oracles of novel insight, and more as tireless workers that can accelerate and unify exploration across domains. It is our hope that this paper can familiarise material science researchers with the concepts needed to leverage these tools in their own research.

研究动机与目标

• 評估大語言模型（LLMs）在加速材料科學研究工作流程方面的潛力。
• 解決從科學文獻中手動、耗時的資料整理挑戰，特別是針對顯微照片及其相關元數據。
• 展示 LLMs 在自動化知識提取與材料科學中任務自動化方面的實際應用。
• 為研究人員提供可執行的洞見與提示工程策略，以將 LLMs 整合至其研究工作流程中。

提出的方法

• 使用少樣本提示工程，透過系統訊息與使用者訊息引導 LLMs，根據圖表說明與摘要對顯微照片進行分類。
• 採用貪心規則基底方案作為與基於 LLM 的分類方法比較的基線。
• 應用視覺-語言模型（VLMs）分析子圖像，判斷其是否為顯微照片，無論是否包含子子圖。
• 設計結構化 JSON 輸出，以標準化 LLM 的回應，便於後續資料處理與整合。
• 結合來自摘要與圖表說明的元數據，提升對材料、成像技術與顯著特徵識別的準確度。
• 對照金標準資料集驗證結果，評估顯微照片檢測與元數據提取的精確度、召回率與 F1 分數。

实验结果

研究问题

• RQ1 僅憑圖表說明與摘要等文字描述，LLMs 是否能準確檢測科學圖像中的顯微照片？
• RQ2 基於 LLM 的顯微照片檢測在精確度與召回率方面，與貪心規則基底方案相比如何？
• RQ3 LLMs 與 VLMs 在多大程度上能從科學圖像與文字中提取詳細元數據（例如：成像技術、材料名稱、處理條件）？
• RQ4 如何優化提示工程，以提升在材料科學特定應用中 LLMs 的可靠性與一致性？
• RQ5 在科學資料整理工作流程中部署 LLMs 時，實務上的限制與風險（例如：幻覺、假陽性）為何？

主要发现

• 基於 LLM 的顯微照片檢測在 F1 分數上優於貪心規則基底方法，且在精確度與召回率之間取得更好的平衡。
• 在提示詞中納入摘要內容顯著提升了顯微照片檢測與元數據提取的準確度。
• 視覺-語言模型（VLMs）成功區分顯微照片與非顯微照片，在分析子圖時具有高度可靠性。
• 基於 LLM 的方法透過自動化大型科學資料集中顯微照片的分類與標記，大幅減少手動資料整理時間。
• 使用具上下文感知的提示詞可降低假陽性，特別是在結合摘要與圖表說明資訊時效果更顯著。
• 本研究證明 LLMs 可作為不知疲倦、可擴展的工具，用於材料科學中的知識提取與工作流程自動化，但幻覺問題仍為主要關注點。