[論文レビュー] SciEval: A Multi-Level Large Language Model Evaluation Benchmark for Scientific Research

Liangtai Sun, Yang Han+6 more|arXiv (Cornell University)|Aug 25, 2023

Topic Modeling被引用数 5

ひとこと要約

SciEval は、化学、物理学、生物学の分野において、大規模言語モデル（LLM）の科学的推論を評価する包括的で多段階のベンチマークである。客観的・主観的問題を統合し、データ漏洩を防ぐために動的データ生成を導入している。LLM の評価は、基本的知識、知識応用、科学的計算、研究能力の4つの次元で行われ、GPT-4 がリードしているが、特に動的および実験的推論タスクにおいて顕著なギャップが残っていることが明らかになった。

ABSTRACT

Recently, there has been growing interest in using Large Language Models (LLMs) for scientific research. Numerous benchmarks have been proposed to evaluate the ability of LLMs for scientific research. However, current benchmarks are mostly based on pre-collected objective questions. This design suffers from data leakage problem and lacks the evaluation of subjective Q/A ability. In this paper, we propose SciEval, a comprehensive and multi-disciplinary evaluation benchmark to address these issues. Based on Bloom's taxonomy, SciEval covers four dimensions to systematically evaluate scientific research ability. In particular, we design a "dynamic" subset based on scientific principles to prevent evaluation from potential data leakage. Both objective and subjective questions are included in SciEval. These characteristics make SciEval a more effective benchmark for scientific research ability evaluation of LLMs. Comprehensive experiments on most advanced LLMs show that, although GPT-4 achieves SOTA performance compared to other LLMs, there is still substantial room for improvement, especially for dynamic questions. The codes and data are publicly available on https://github.com/OpenDFM/SciEval.

研究の動機と目的

• 既存のベンチマークが静的で客観的な質問に依存しており、データ漏洩の問題を抱えているという限界を是正すること。
• LLM が有する科学的推論能力の全範囲を捉える包括的な評価フレームワークの開発。
• 実験設計や結果分析を含む、客観的および主観的質問を統合し、高次水準の科学的思考を評価すること。
• 科学的原則に基づく動的データ生成により、データ漏洩のリスクを低減すること。
• 現実世界の科学的研究所シナリオにおいて、最先端の LLM を標準化された多分野のベンチマークで評価すること。

提案手法

• SciEval はブルームのタクソノミーに基づき、基本的知識、知識応用、科学的計算、研究能力の4つの認知的次元で LLM を評価する。
• 化学、物理学、生物学の分野にまたがる合計 15,901 問の質問が含まれており、動的および静的サブセットを含め、合計 18,000 問の質問が用意されている。
• 科学的原則に基づきリアルタイムにデータを生成することで、記憶の防止と評価の公平性を確保する。
• 実験的データの専用サブセットが含まれており、12 件の実際の科学的実験を含み、実験設計や結果解釈における主観的推論が評価される。
• 評価は、回答のみ、連鎖的思考（CoT）、Few-shot（3ショット）の3つの設定で実施され、推論戦略のパフォーマンス比較が可能になる。
• パフォーマンスは正答率、BLEU スコア、および計算タスク用の平均二乗誤差（MSE）で測定され、分野および設定ごとに分析される。

Figure 1: The illustration of the evaluation system. SciEval covers three disciplines with amounts of sub-topics, and investigates four abilities, corresponding to six cognitive levels.

実験結果

リサーチクエスチョン

• RQ1 最先端の LLM は、客観的および主観的質問を含む多段階・多分野の科学的ベンチマークで、どのように性能を発揮するか？
• RQ2 静的で事前に収集された科学的質問に対して評価を実施した場合、LLM はどの程度データ漏洩を示すか？
• RQ3 回答のみ、連鎖的思考（CoT）、Few-shot の異なる推論戦略が、科学的推論タスクにおける LLM のパフォーマンスにどのように影響するか？
• RQ4 記憶を防ぐために原則に基づく動的で変化する科学的質問に対して、LLM はどの程度一般化できるか？
• RQ5 LLM は、特に物理学および化学分野において、科学的計算と実験結果分析のどの点に弱みを示すか？

主な発見

• GPT-4 はすべてのサブセットで最先端のパフォーマンスを示し、最高の平均正答率と BLEU スコアを記録した。特に 3ショット設定では、動的データで 51.01% の正答率を達成した。
• 高い正答率を示しても、GPT-4 は CoT 設定下で物理学の問題において誤った公式を頻繁に使用しており、正答率の高さにもかかわらず推論上の欠陥が明らかになった。
• GPT-3.5-turbo や Claude-v1.3 を含む大多数の LLM は、静的データで 60% 未満の正答率にとどまり、改善の余地が著しくあることが示された。
• 物理学サブセットでは、すべてのモデルが動的データでほぼランダムな性能にとどまり、大多数のモデルで正答率が 25% 未満であった。これは、新しい物理的問題への一般化能力の低さを示している。
• Galactica-30B などのモデルは、科学的計算タスクにおいて他のモデルを上回っており、特に化学分野で顕著な成果を示した。これは、分野特化型の事前学習の利点を示している。
• すべてのモデルが、実験的データサブセットにおける実験結果分析において顕著に苦戦しており、実験設計や原則の理解ではやや良好なパフォーマンスを示しても、結果の解釈には著しい弱みを示した。

Figure 2: Data Collection steps of Static Data