[論文レビュー] TheoremQA: A Theorem-driven Question Answering dataset

Wenhu Chen, Ming Yin+7 more|arXiv (Cornell University)|May 21, 2023

Topic Modeling被引用数 5

ひとこと要約

TheoremQA は、STEM分野の350の定理にわたる800の高品質な質問を含む、定理駆動型の質問応答データセットを初めて提供し、大規模言語モデル（LLM）が分野固有の定理を適用する能力を評価することを目的としている。GPT-4 は、Thoughtのプログラム（Program-of-Thoughts）プロンプティングを用いて51%の正答率を達成したが、オープンソースモデルは15%未満にとどまり、顕著な性能格差が生じており、定理に配慮した事前学習の必要性が浮き彫りになった。

ABSTRACT

The recent LLMs like GPT-4 and PaLM-2 have made tremendous progress in solving fundamental math problems like GSM8K by achieving over 90% accuracy. However, their capabilities to solve more challenging math problems which require domain-specific knowledge (i.e. theorem) have yet to be investigated. In this paper, we introduce TheoremQA, the first theorem-driven question-answering dataset designed to evaluate AI models' capabilities to apply theorems to solve challenging science problems. TheoremQA is curated by domain experts containing 800 high-quality questions covering 350 theorems (e.g. Taylor's theorem, Lagrange's theorem, Huffman coding, Quantum Theorem, Elasticity Theorem, etc) from Math, Physics, EE&CS, and Finance. We evaluate a wide spectrum of 16 large language and code models with different prompting strategies like Chain-of-Thoughts and Program-of-Thoughts. We found that GPT-4's capabilities to solve these problems are unparalleled, achieving an accuracy of 51% with Program-of-Thoughts Prompting. All the existing open-sourced models are below 15%, barely surpassing the random-guess baseline. Given the diversity and broad coverage of TheoremQA, we believe it can be used as a better benchmark to evaluate LLMs' capabilities to solve challenging science problems. The data and code are released in https://github.com/wenhuchen/TheoremQA.

研究の動機と目的

• 大規模言語モデル（LLM）が、分野固有の知識を必要とする複雑で定理依存の科学的問題を評価するためのベンチマークが不足しているという問題に対処すること。
• 数学、物理学、電気工学・コンピュータサイエンス、ファイナンスをカバーする800の質問-定理-回答の三つ組を含む、高品質で専門家がキュレートしたデータセットの作成。
• Chain-of-Thoughts（CoT）および Program-of-Thoughts（PoT）プロンプティングを用いて、多様な大規模言語およびコードモデルの定理ベース推論タスクにおける性能を評価すること。
• 特に定理の想起、式の適用、計算ミスに関する失敗モードやエラーパattersを同定すること。
• 図表を含むマルチモーダルな科学的問題の課題を検討し、視覚拡張大規模言語モデルの性能を評価すること。

提案手法

• データセットは2段階で構築された。まず、STEM分野のサブフィールドにわたり400の定理を抽出した。次に、分野の専門家が教科書やインターネットから質問を収集・精錬し、回答形式の一貫性を確保した。
• 質問は、たとえばテイラーの定理、ラグランジュの定理、量子力学的定理など、特定の定理の適用を必須とするようにキュレートされた。
• GPT-4、Claude、LLaMA、CodeGen、StarCoder などを含む、幅広い16種類のインstructファインチューニング済み言語およびコードモデルが評価された。
• 推論効率と正確性を評価するために、Chain-of-Thoughts（CoT）と Program-of-Thoughts（PoT）の2つのプロンプティング戦略が適用された。
• 関連する定理を入力プロンプトに明示的に含めることで、モデルの性能を向上させる「定理インジェクション」技術が検討された。
• テキストと図をペアにしたマルチモーダルな質問が作成され、視覚エンコーダ（CLIP、BLIP）を有効または無効にした状態でモデルの性能が評価された。

実験結果

リサーチクエスチョン

• RQ1 最先端の大規模言語モデルは、分野固有の深い知識を必要とする定理駆動型の科学的問題に対してどの程度の性能を示すか？
• RQ2 Chain-of-Thoughtsに比べて、Program-of-Thoughtsプロンプティングは推論の正確性と出力の安定性を向上させるか？
• RQ3 定理ベースの問題を解く際の、大規模言語モデルの主な失敗モードは何か。また、モデル間でどのように異なるか？
• RQ4 図表を含むマルチモーダルな科学的問題において、視覚エンコーダーは性能をどの程度向上させるか？
• RQ5 オープンソースの大規模言語モデルは、定理ベースの推論で競争力のある性能を達成できるか。それとも、科学分野特化のデータでファインチューニングが不可欠か？

主な発見

• GPT-4 は、Program-of-Thoughtsプロンプティングを用いてTheoremQAで51%の正答率を達成し、他のすべてのモデルを大きく上回った。
• 2番目に良いモデルであるChatGPTも、同じプロンプティング手法で35%の正答率を記録した。これはGPT-4との間に顕著な性能格差があることを示しており、GPT-4の優位性が裏付けられた。
• GPT-4の誤りの半数は、わずかな計算ミスや丸め誤差に起因しており、より良いプロンプティング戦略や人間の介入によって、残りの正答率ギャップの多くを埋め合わせられる可能性がある。
• テストされたすべてのオープンソースモデルが15%未満の正答率にとどまり、ランダムな推測をわずかに上回るにとどまった。これは、定理に配慮した事前学習やファインチューニングの必要性が極めて高いことを示している。
• 視覚拡張大規模言語モデル（LLaVA、VisualGLM）は、テキストのみのモデル（Alpaca）と比べて顕著な性能向上を示さなかった。これは、現在の視覚エンコーダーが図表を含む科学的問題に対して不十分であることを示している。
• エラー解析の結果、Alpacaの主な失敗モードは定理を知らないこと（E1）であったが、GPT-4の誤りは主に計算ミス（E3）が原因であった。これは、異なるモデル間で失敗のパターンが顕著に異なることを示している。