[論文レビュー] SciKnowEval: Evaluating Multi-level Scientific Knowledge of Large Language Models

Kehua Feng, Shen, Xinyi+5 more|arXiv (Cornell University)|Jun 13, 2024

Topic Modeling被引用数 4

ひとこと要約

SciKnowEvalは、生物学および化学分野の50Kサンプルから構成されるデータセットを用いて、学習を深く、真剣に問い、深く考え、明確に識別し、丁寧に実践するという、科学的知識の5段階にわたる段階的評価を可能にする包括的なベンチマークを導入した。最新の最先端性能を示すにもかかわらず、GPT-4oを含む最高水準のモデルですら、科学的推論、安全性への配慮、実験的手順の生成において顕著な格差を示しており、実世界の科学的応用における重要な制限を浮き彫りにしている。

ABSTRACT

Large language models (LLMs) are playing an increasingly important role in scientific research, yet there remains a lack of comprehensive benchmarks to evaluate the breadth and depth of scientific knowledge embedded in these models. To address this gap, we introduce SciKnowEval, a large-scale dataset designed to systematically assess LLMs across five progressive levels of scientific understanding: memory, comprehension, reasoning, discernment, and application. SciKnowEval comprises 28K multi-level questions and solutions spanning biology, chemistry, physics, and materials science. Using this benchmark, we evaluate 20 leading open-source and proprietary LLMs. The results show that while proprietary models often achieve state-of-the-art performance, substantial challenges remain -- particularly in scientific reasoning and real-world application. We envision SciKnowEval as a standard benchmark for evaluating scientific capabilities in LLMs and as a catalyst for advancing more capable and reliable scientific language models.

研究の動機と目的

• 大規模言語モデル（LLM）における科学的知識を評価する包括的で多段階のベンチマークが不足しているという問題に対処すること。
• 高校レベルの科学に限定される既存のベンチマークや、倫理的・安全性の評価が欠如しているという限界を克服すること。
• 人間の科学的学習プロセスを模倣する中国古典的儒教思想にインspiredされた体系的フレームワークの構築。
• 知識習得、問いの探求、推論、倫理的判断、実践的応用の5段階にわたる、LLMの評価。
• 大規模で多様性に富み、倫理的に配慮されたベンチマークを通じて、より安全で、より能力の高い科学的LLMの開発を促進すること。

提案手法

• 『中庸』の教えにインspiredされた5段階の科学的知識評価フレームワークを設計し、知識習得から実践的応用への段階的進行をモデル化する。
• 生物学および化学分野の教科書、文献、データベース、自作コンテンツなど、複数のソースから成る50,048件の科学的問題とその解答を含む大規模なマルチソースデータセットを構築する。
• タスクを5段階に分類する：学習を深く（知識の想起）、真剣に問いを立てること（問いの探求）、深く考えること（推論）、明確に識別すること（倫理／安全性）、丁寧に実践すること（実験設計）。
• ゼロショットおよびフェイワショットプロンプティングを用いて、全5段階の評価において20の主要なオープンソースおよび特許取得済みLLMを評価する。
• 人間によるアノテーションスコア（例：GPT-4oをジャッジとして使用）を統合し、複雑な科学的タスクにおける正確性、完全性、安全性の観点からモデル出力を評価する。
• 危険物の合成や規制準拠など、安全性が重要なタスクを含めることで、倫理的評価を確実にする。

実験結果

リサーチクエスチョン

• RQ1 LLMは、基本的な想起から複雑な実験設計に至るまで、科学的知識の多段階的階層においてどの程度のパフォーマンスを示すのか？
• RQ2 特許取得済みLLMとオープンソースLLMは、推論、安全性への配慮、科学的知識の実践的応用においてどの程度の差を示すのか？
• RQ3 既存のベンチマークは、実世界の研究や実験に必要な科学的理解の深さを十分に捉えきれているのか？
• RQ4 危険物の合成など、高リスクな科学的タスクにおいて、LLMは倫理的および安全性の配慮をどの程度適切に処理できるのか？
• RQ5 特に試薬選定や手順の詳細において、LLMが生成する科学的プロトコルに顕著な失敗要因は何か？

主な発見

• 最高水準のLLM、GPT-4oですら、最高段階（L5）の試薬および手順生成タスクにおいて平均で3/5に満たないスコアを記録しており、実践的科学的熟練度に顕著な格差があることを示している。
• 特許取得済みLLMは、最先端のパフォーマンスを示すが、科学的計算および応用において顕著な欠落を示しており、特に安全性が重要なタスクの処理において顕著である。
• どのモデルもL5段階（丁寧に実践すること）を完全に習得しておらず、GPT-4oはリピドミクスSPEプロトコル設計タスクでわずか2/5のスコアにとどまり、重要な試薬や投与量を欠落していた。
• ベンチマークは、現在のLLMが実験設計において特異性や完全性に欠けていることを明らかにした。特に、正しい溶媒、比率、内部標準物質の名称を正しく記載する点で顕著である。
• 既存のベンチマークでは、倫理的および安全性の配慮が一貫して評価されていないが、SciKnowEvalは明示的にそれらを含め、現在のLLM評価における重要な盲点を暴露した。
• データセットおよびコードは https://github.com/hicai-zju/sciknoweval で公開されており、科学的LLMの再現可能で標準化された評価を可能にしている。