[論文レビュー] Large Language Models for Scientific Synthesis, Inference and Explanation

Yizhen Zheng, Huan Yee Koh+5 more|arXiv (Cornell University)|Oct 12, 2023

Machine Learning in Materials Science被引用数 12

ひとこと要約

本論文は、汎用的大規模言語モデル（LLM）が科学的統合を実行し、データセットから推論し、予測を説明することができる方法を示し、機械学習ベースの分子特性タスクを向上させる。

ABSTRACT

Large language models are a form of artificial intelligence systems whose primary knowledge consists of the statistical patterns, semantic relationships, and syntactical structures of language1. Despite their limited forms of "knowledge", these systems are adept at numerous complex tasks including creative writing, storytelling, translation, question-answering, summarization, and computer code generation. However, they have yet to demonstrate advanced applications in natural science. Here we show how large language models can perform scientific synthesis, inference, and explanation. We present a method for using general-purpose large language models to make inferences from scientific datasets of the form usually associated with special-purpose machine learning algorithms. We show that the large language model can augment this "knowledge" by synthesizing from the scientific literature. When a conventional machine learning system is augmented with this synthesized and inferred knowledge it can outperform the current state of the art across a range of benchmark tasks for predicting molecular properties. This approach has the further advantage that the large language model can explain the machine learning system's predictions. We anticipate that our framework will open new avenues for AI to accelerate the pace of scientific discovery.

研究の動機と目的

• 自然科学タスクにおける科学的統合、推論、説明のための汎用的なLLMの活用を動機づける。
• 従来のMLシステムを、LLM由来の統合・推論知識で強化して予測性能を向上させることを実証する。
• 科学的文脈において、LLMがモデルの予測の説明を提供できることを示す。
• AIが学際的な科学発見を加速する可能性を強調する。

提案手法

• 汎用的なLLMを用いて、通常は専門的なML手法が扱う科学データセットから推論する。
• 科学文献からの統合知識でMLモデルを強化し、タスク性能を向上させる。
• LLMがモデルの予測に対する説明を生成できるようにする。
• 分子特性予測のベンチマークタスクで評価し、性能向上を示す。
• LLMベースの統合・推論を科学AIワークフローに組み込むための枠組みと議論を提供する。

実験結果

リサーチクエスチョン

• RQ1 汎用的なLLMは、専門のMLアルゴリズムと同程度の方法で科学データセットから推論できるか？
• RQ2 LLM由来の統合知識でMLシステムを強化すると、科学タスクの予測性能は向上しますか？
• RQ3 LLMsは科学的文脈で機械学習予測に意味のある説明を提供できますか？
• RQ4 科学的発見を加速するために、統合・推論・説明にLLMsを用いるのに最適な枠組みは何ですか？

主な発見

• LLMsはデータセットと文献からの科学的推論のための知識を補強できる。
• LLM由来の統合知識を用いた強化システムは、分子特性予測のベンチマークで現状の最先端を上回る。
• このアプローチはML予測の説明を提供し、解釈性を高める。