[論文レビュー] Have LLMs Advanced Enough? A Challenging Problem Solving Benchmark For Large Language Models

Daman Arora, Himanshu Singh+1 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文は、IIT JEE-Advanced試験から抽出した物理学、化学、数学の515問の前処理済み問題から構成される挑戦的なベンチマーク、JEEBenchを紹介する。このベンチマークは、長時間にわたる推論と深い分野固有の知識を試すことを目的としている。チェーン・オブ・トゥーク（CoT）やセルフコンシステンシー（SC）といった高度なプロンプティング技術を用いても、GPT-4は2023年のテストセットでわずか33.8％のスコアにとどまり、信頼度の閾値を適用する後処理的手法を用いることで、人間の上位10–20％のスコアにまで向上する。これは、代数的変形、概念の検索、リスク評価の分野に顕著なギャップが存在することを示している。

ABSTRACT

The performance of large language models (LLMs) on existing reasoning benchmarks has significantly improved over the past years. In response, we present JEEBench, a considerably more challenging benchmark dataset for evaluating the problem solving abilities of LLMs. We curate 515 challenging pre-engineering mathematics, physics and chemistry problems from the highly competitive IIT JEE-Advanced exam. Long-horizon reasoning on top of deep in-domain knowledge is essential for solving problems in this benchmark. Our evaluation on various open-source and proprietary models reveals that the highest performance, even after using techniques like self-consistency, self-refinement and chain-of-thought prompting, is less than 40%. The typical failure modes of GPT-4, the best model, are errors in algebraic manipulation, difficulty in grounding abstract concepts into mathematical equations accurately and failure in retrieving relevant domain-specific concepts. We also observe that by mere prompting, GPT-4 is unable to assess risk introduced by negative marking for incorrect answers. For this, we develop a post-hoc confidence-thresholding method over self-consistency, which enables effective response selection. We hope that our challenging benchmark will guide future re-search in problem-solving using LLMs.

研究の動機と目的

• 既存の推論データセットを超える、大規模言語モデル（LLM）の問題解決能力を厳密に評価するためのベンチマークを開発すること。
• 特にGPT-4を含む最新のLLMが、STEM分野の深層的で特化した知識を要する高難易度で多段階の問題を解く能力の限界を評価すること。
• 負のマーク制度がある試験環境下での代数的変形、概念の検索、リスクに配慮した意思決定におけるLLM推論の失敗モードを特定すること。
• 自己一貫性の出力に基づく後処理的手法としての信頼度の閾値処理を提案・評価すること。
• 今後の推論能力を持つLLMの研究を支援するため、信頼性が高く汚染のないデータセットを提供すること。

提案手法

• 物理学、化学、数学分野の8回分のIIT JEE-Advanced試験から、多段階の推論と分野固有の知識を要する515問の難易度の高い問題を厳選した。
• 推論の堅牢性を高めるために、チェーン・オブ・トゥーク（CoT）プロンプティングとセルフコンシステンシー（SC）を適用し、1問題あたり複数の推論経路を生成した。
• 自己一貫性の出力に対して、予測された答えの相対的頻度を信頼度の代理として用いることで、後処理的な信頼度の閾値処理手法を実装した。
• GPT-4を含むオープンソースおよびプロプライエタリなLLMを対象に、本ベンチマーク上で広範な定性的および定量的分析を実施した。
• 公的コーパスを検索して問題のインスタンスが存在するかを調査し、2023年の問題について汚染の有無を評価した。2023年の問題は汚染がないと判断された。
• 人間のスコアを補正して正規化し、2023年の試験から得られた人間のベンチマークとLLMの性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 現在のLLM、特にGPT-4は、分野固有の深い知識と長時間にわたる推論を要する高難易度の多段階的STEM問題を信頼性を持って解くことができるか？
• RQ2 最先端のLLMが複雑な問題解決において主にどのような失敗モードを示しているのか、特に代数的変形と概念の検索において。
• RQ3 自己一貫性と自己精錬技術は、本ベンチマーク上で推論性能の向上にどの程度効果的か？
• RQ4 単純な後処理的信頼度の閾値処理手法は、負のマーク制度がある試験環境下でのLLM性能を向上させることができるか？
• RQ5 JEEBenchデータセットは、事前学習データに露出した影響を受けてどの程度汚染されているのか。また、これはモデルの性能評価に影響を与えているか？

主な発見

• GPT-4はチェーン・オブ・トゥークとセルフコンシステンシーのプロンプティングを用いて2023年IIT JEE-Advancedのテストセットで33.8％のスコアを記録した。これは推論の堅牢性が限定的であることを示している。
• 自己一貫性の出力に対して信頼度の閾値処理を適用した後、GPT-4の性能は2023年の試験で人間の上位10–20％のスコアにまで向上した。
• 評価されたすべてのモデルの中で、高レベルのプロンプティングを用いても最高スコアは40％未満にとどまり、LLM推論における継続的な課題が浮き彫りになった。
• GPT-4は論理的推論が一部で強いにもかかわらず、代数的変形や概念の検索において頻繁に失敗していた。
• 試験の負のマーク制度を考慮することができず、マーク制度についてのプロンプトを提示された際に性能が低下した。
• データセットの汚染はわずか6％と推定されたため、GPT-4の性能は記憶の影響ではなく、推論能力の真の指標であると考えられる。