[論文レビュー] LLM-based MOFs Synthesis Condition Extraction using Few-Shot Demonstrations

Lei Shi, Z.Y. Liu+14 more|arXiv (Cornell University)|Aug 6, 2024

Nuclear Physics and Applications被引用数 6

ひとこと要約

この論文は、取得拡張生成（RAG）と人間-AIデータキュレーションを組み合わせたfew-shot in-context learningアプローチを用いて、文献からMOF合成条件を抽出し、ゼロショットLLMsを上回り、下流のMOF構造推定を改善する。

ABSTRACT

The extraction of Metal-Organic Frameworks (MOFs) synthesis route from literature has been crucial for the logical MOFs design with desirable functionality. The recent advent of large language models (LLMs) provides disruptively new solution to this long-standing problem. While the latest researches mostly stick to primitive zero-shot LLMs lacking specialized material knowledge, we introduce in this work the few-shot LLM in-context learning paradigm. First, a human-AI interactive data curation approach is proposed to secure high-quality demonstrations. Second, an information retrieval algorithm is applied to pick and quantify few-shot demonstrations for each extraction. Over three datasets randomly sampled from nearly 90,000 well-defined MOFs, we conduct triple evaluations to validate our method. The synthesis extraction, structure inference, and material design performance of the proposed few-shot LLMs all significantly outplay zero-shot LLM and baseline methods. The lab-synthesized material guided by LLM surpasses 91.1% high-quality MOFs of the same class reported in the literature, on the key physical property of specific surface area.

研究の動機と目的

• MOFs文献から正確な合成条件の抽出の設計・発見のための必要性を動機づける。
• 高いF1で合成条件を抽出するfew-shot in-context learningフレームワークを提案する。
• デモンストレーションのためのヒューマン-AI共著データキュレーションプロセスを介してデータ品質を向上させる。
• RAGとオフライン事前フィルタリングを通じて抽出コストを削減し、スケーラビリティを維持する。
• 抽出された条件を用いたMOF構造推定の実世界での有用性を示す。

提案手法

• 高品質なグラウンドトゥルースデモンストレーションを作成するためのヒューマン-AI共著データキュレーションパイプラインを導入する。
• BM25ベースのRAG戦略を適用し、MOF各段落に対して適応的な few-shotデモンストレーションを選択する。
• 文献の段落からMOFあたり10の合成条件を抽出するためにGPT-4 Turboを使用する。
• 背景プロンプトとして材料知識を取り入れ、定義と数値/テキスト/構造の制約を提供する。
• 関連テキストをフィルタリングしてLLM使用コストを削減するオフライン合成段落検出器を開発する。
• 代替語LやH2Lの解決などの代理語を解決するハイブリッドLLM-regexアプローチでコアリファレンス解決を評価する。

実験結果

リサーチクエスチョン

• RQ1 適応的デモンストレーション取得を用いたfew-shot in-context learningはMOF合成条件抽出でゼロショットLLMを上回るか？
• RQ2 データ品質、デモンストレーション量、背景知識は抽出性能にどう影響するか？
• RQ3 RAG（BM25対セマンティック手法）がMOF合成条件の抽出精度に与える影響は？
• RQ4 抽出条件は下流MOF構造推定モデルの性能を有意に改善できるか？

主な発見

Model	Zero-shot R2	Few-shot R2
Lasso	0.1755	0.2257
Bayesian Ridge	0.1758	0.2318
AdaBoost	0.2570	0.3298
Random Forest	0.2498	0.3468
Gradient Boosting	0.2919	0.3632
XGBoost	0.3559	0.4421

• few-shot LLM抽出は、4ショットデモで123MOFを対象にゼロショットのF1 0.81、ACC 0.77より平均F1 0.93、ACC 0.90を達成。
• ヒューマン-AI共著データキュレーションは最高のグラウンドトゥルースデモンストレーションを生み出し、F1 0.93、ACC 0.90を達成。
• BM25ベースのRAGは他の取得方法と乱択より優れており、F1 0.93、ACC 0.90を達成。
• ショット数が少なくとも4つで最適な性能を達成でき、それを超えると収穫は減衰する。
• 5,269MOFの構造推定では、few-shot手法がゼロショットよりMLモデル全体で平均29.4%R2を改善。