[論文レビュー] ChemEval: A Comprehensive Multi-Level Chemical Evaluation for Large Language Models

Yuqing Huang, Rihong Zhang+16 more|arXiv (Cornell University)|Sep 21, 2024

Machine Learning in Materials Science被引用数 4

ひとこと要約

ChemEvalは、化学分野における大規模言語モデル（LLM）の評価を目的とした包括的で多段階のベンチマークであり、12の次元と4段階の進行的複雑さを持つ42のタスクを含む。ゼロショットおよびフェイシング設定において12の代表的LLMを評価し、専門的LLMが高度な化学的推論において一般モデルを上回ること、一方で一般モデルが指示従いおよび文献理解において優れたパフォーマンスを示すことが明らかになった。

ABSTRACT

There is a growing interest in the role that LLMs play in chemistry which lead to an increased focus on the development of LLMs benchmarks tailored to chemical domains to assess the performance of LLMs across a spectrum of chemical tasks varying in type and complexity. However, existing benchmarks in this domain fail to adequately meet the specific requirements of chemical research professionals. To this end, we propose extbf{ extit{ChemEval}}, which provides a comprehensive assessment of the capabilities of LLMs across a wide range of chemical domain tasks. Specifically, ChemEval identified 4 crucial progressive levels in chemistry, assessing 12 dimensions of LLMs across 42 distinct chemical tasks which are informed by open-source data and the data meticulously crafted by chemical experts, ensuring that the tasks have practical value and can effectively evaluate the capabilities of LLMs. In the experiment, we evaluate 12 mainstream LLMs on ChemEval under zero-shot and few-shot learning contexts, which included carefully selected demonstration examples and carefully designed prompts. The results show that while general LLMs like GPT-4 and Claude-3.5 excel in literature understanding and instruction following, they fall short in tasks demanding advanced chemical knowledge. Conversely, specialized LLMs exhibit enhanced chemical competencies, albeit with reduced literary comprehension. This suggests that LLMs have significant potential for enhancement when tackling sophisticated tasks in the field of chemistry. We believe our work will facilitate the exploration of their potential to drive progress in chemistry. Our benchmark and analysis will be available at {\color{blue} \url{https://github.com/USTC-StarTeam/ChemEval}}.

研究の動機と目的

• 化学分野における包括的でドメイン特化型のベンチマークが不足しているという問題に対処すること。
• 基本知識から高度な推論に至る4段階の進行的化学的推論レベルを特定・評価すること。
• 専門家が作成したデータとプロンプトを用いて、実用的関連性と評価の厳密性を確保するベンチマークの構築。
• ゼロショットおよびフェイシング設定下で、多様な化学的タスクにおいて一般モデルと専門的LLMを評価すること。
• 実世界の化学研究支援におけるLLMの強みと限界を明らかにするための実用的洞察を提供すること。

提案手法

• 基本知識、推論、推論、高度な問題解決の4段階の進行的レベルを有する多段階フレームワークの設計。
• 化学的知識、反応予測、収率推定、機構解析をカバーする12の評価次元の定義。
• オープンソースデータと専門家が検証済みの例を用いて、科学的正確性を保証する42の異なる化学的タスクのキュレーション。
• ゼロショットおよびフェイシング一般化を評価するため、タスク固有のプロンプト（システム指示とフェイシング例を含む）の開発。
• 専門家が検証済みのSMILES文字列と反応条件を統合し、予測の化学的正確性を保証。
• GPT-4やClaude-3.5を含む12の最先端LLMを、標準化されたプロンプトプロトコルに従って全タスクで評価。

実験結果

リサーチクエスチョン

• RQ1 一般用途のLLMは、専門的化学LLMと比較して、複雑な化学的推論タスクでどの程度のパフォーマンスを示すか？
• RQ2 SMILES入力のみを用いて、反応生成物、収率、活性化エネルギーをどの程度正確に予測できるか？
• RQ3 反応物と生成物から妥当な反応中間体を導出できるか？その導出はどの程度信頼性があるか？
• RQ4 フェイシングプロンプトは、深いつながりの必要なドメイン知識を要する化学的タスクにおけるLLMのパフォーマンスにどのように影響するか？
• RQ5 合成や機構予測において、特に高度な化学的研究支援を支援するための現在のLLMの能力の主なギャップは何か？

主な発見

• GPT-4 や Claude-3.5 といった一般LLMは、文献理解と指示従いにおいて優れたパフォーマンスを示すが、高度な化学的推論には苦戦する。
• 専門的LLMは、反応機構の導出や収率予測といった複雑なタスクで顕著に高いパフォーマンスを発揮する。
• 反応生成物予測（PPred）は、専門家が作成した例において高い正確性を達成し、ベンチマークで正しいSMILES出力が報告された。
• 生成物収率予測（YPred）は、収率が70％以上の反応と低い反応を妥当な信頼性で区別できることを示した。
• 活性化エネルギー予測（RatePred）は、エタノール脱水反応において180–370 kJ/molの範囲を妥当な精度で推定できることを明らかにした。
• 中間体導出（IMDer）は、一般的な機構におけるカルボカチオンなどの主要な種を正しく特定できることを示したが、複雑なケースでは顕著な誤差率が見られた。