[論文レビュー] Are LLMs Ready for Real-World Materials Discovery?

Santiago Miret, N. M. Anoop Krishnan|arXiv (Cornell University)|Feb 7, 2024

Machine Learning in Materials Science被引用数 20

ひとこと要約

材料科学における現状のLLMの失敗を概説し、分野知識に基づく MatSci-LLMs を提案する。現実世界の材料探索のための、マルチモーダルかつデータに富んだロードマップ。

ABSTRACT

Large Language Models (LLMs) create exciting possibilities for powerful language processing tools to accelerate research in materials science. While LLMs have great potential to accelerate materials understanding and discovery, they currently fall short in being practical materials science tools. In this position paper, we show relevant failure cases of LLMs in materials science that reveal current limitations of LLMs related to comprehending and reasoning over complex, interconnected materials science knowledge. Given those shortcomings, we outline a framework for developing Materials Science LLMs (MatSci-LLMs) that are grounded in materials science knowledge and hypothesis generation followed by hypothesis testing. The path to attaining performant MatSci-LLMs rests in large part on building high-quality, multi-modal datasets sourced from scientific literature where various information extraction challenges persist. As such, we describe key materials science information extraction challenges which need to be overcome in order to build large-scale, multi-modal datasets that capture valuable materials science knowledge. Finally, we outline a roadmap for applying future MatSci-LLMs for real-world materials discovery via: 1. Automated Knowledge Base Generation; 2. Automated In-Silico Material Design; and 3. MatSci-LLM Integrated Self-Driving Materials Laboratories.

研究の動機と目的

• 材料科学に基づく LLM（MatSci-LLMs）の必要性を定義し、現状の制約を特定する。
• 分野知識の基盤と解釈可能な仮説生成を含む、MatSci-LLMs の核心要件を提案する。
• マルチモーダル材料科学情報抽出におけるデータとデータセットの課題を強調する。
• 材料科学における自動化された知識ベース生成、インシリコ設計、自己運転型実験室のためのロードマップを概説する。

提案手法

• 材料科学における LLM の失敗例をレビューし、推論と基盤づけのギャップを特定する。
• 分野知識と研究者の補強に基づく MatSci-LLMs の要件を明示する。
• テキスト、表、図、CIF ファイル、その他の形式にまたがるマルチモーダルデータ抽出の課題を論じる。
• 材料科学文献のデータ収集、アノテーション、データセット構築の課題を説明する。
• 知識ベース生成、インシリコ設計、および自律実験における MatSci-LLMs の実用的なロードマップと潜在的なインターフェースを提案する。

Figure 1: Overview of MatSci-LLM requirements related to knowledge acquisition and science acceleration. MatSci-LLMs require knowledge contained across multiple documents along multiple data modalities. Pertinent materials science knowledge includes understanding materials structure, properties and

実験結果

リサーチクエスチョン

• RQ1 材料科学の知識と推論に適用した場合の現在の LLM の主な限界は何か？
• RQ2 仮説生成と実験において材料科学者を効果的に支援するために、MatSci-LLMs はどのような要件を満たす必要があるか？
• RQ3 大規模な MatSci-LLMs を構築するために、どのデータモダリティと抽出の課題に対処すべきか？
• RQ4 自動化された知識ベース、インシリコ設計、自己運転型実験室を含むエンドツーエンドのワークフローに MatSci-LLMs をどのように統合できるか？
• RQ5 実世界の材料発見に MatSci-LLMs を展開するための実現可能なロードマップは何か？

主な発見

• LLMs は特定分野の推論、数値的整合性、材料の構造と表記の正確な解釈に苦労する。
• 現在の材料科学データは高度にマルチモーダルで文脈依存しており、表、図、CIF ファイル、関連文献に重要な情報が含まれている。
• 有料壁、旧文献、機械読取不可能な形式を含む、データアクセスとアノテーションの重大な課題があり、MatSci-LLMs の訓練を妨げる。
• ドメイン固有の言語と表記法で LLM を基盤づけることは不可欠だが、分野の多様性と標準的な表記法の欠如のために易しくはない。
• 成功する MatSci-LLM には、知識ベース、インシリコ設計、および自律実験の実行を結ぶ統合的なワークフローが必要である。

Figure 2: Roadmap of a Mat-Sci LLM based materials discovery cycle. The cycle starts with materials query from a researcher that specifies desired properties or an application. The MatSci-LLM then draws from external and internal knowledge bases to generate a materials design hypothesis which is eva