[論文レビュー] Mathematical Capabilities of ChatGPT

Simon Frieder, Luca Pinchetti+6 more|arXiv (Cornell University)|Jan 31, 2023

Artificial Intelligence in Healthcare and Education被引用数 296

ひとこと要約

本論文は GHOSTS および miniGHOSTS を導入し、ChatGPT バージョン (Jan 2023) および GPT-4 を対象とした自然言語データセットを提供して、大学院レベルの数学的推論をベンチマークする。大学院レベルの熟練度は限られている一方で、数学的検索/知識アシスタントとしての活用には強みを示す。包括的な評価フレームワークを提供し、モデルの弱点、時間ととも産別の改善、数学者への実務的統合の洞察を論じる。

ABSTRACT

We investigate the mathematical capabilities of two iterations of ChatGPT (released 9-January-2023 and 30-January-2023) and of GPT-4 by testing them on publicly available datasets, as well as hand-crafted ones, using a novel methodology. In contrast to formal mathematics, where large databases of formal proofs are available (e.g., the Lean Mathematical Library), current datasets of natural-language mathematics, used to benchmark language models, either cover only elementary mathematics or are very small. We address this by publicly releasing two new datasets: GHOSTS and miniGHOSTS. These are the first natural-language datasets curated by working researchers in mathematics that (1) aim to cover graduate-level mathematics, (2) provide a holistic overview of the mathematical capabilities of language models, and (3) distinguish multiple dimensions of mathematical reasoning. These datasets also test whether ChatGPT and GPT-4 can be helpful assistants to professional mathematicians by emulating use cases that arise in the daily professional activities of mathematicians. We benchmark the models on a range of fine-grained performance metrics. For advanced mathematics, this is the most detailed evaluation effort to date. We find that ChatGPT can be used most successfully as a mathematical assistant for querying facts, acting as a mathematical search engine and knowledge base interface. GPT-4 can additionally be used for undergraduate-level mathematics but fails on graduate-level difficulty. Contrary to many positive reports in the media about GPT-4 and ChatGPT's exam-solving abilities (a potential case of selection bias), their overall mathematical performance is well below the level of a graduate student. Hence, if your goal is to use ChatGPT to pass a graduate-level math exam, you would be better off copying from your average peer!

研究の動機と目的

• LLM における高度な数学的推論を評価するために GHOSTS および miniGHOSTS データセットを導入する。
• 多様な大学院レベルの問題に対して、2つの ChatGPT バージョン (Jan 9 and Jan 30, 2023) および GPT-4 をベンチマークする。
• 専門家向けの数学アシスタントとしての ChatGPT の強み、失敗モード、および実務的な活用を特定する。
• モデルの反復を通じた数学的進歩を追跡するフレームワークを提供し、今後の改善を指針とする。

提案手法

• さまざまな数学的スキルをテストするために six subdatasets を作成する（Grad-Text、Holes-in-Proofs、Olympiad-Problem-Solving、Symbolic-Integration、MATH、Search-Engine-Aspects）。
• 出力には rating、errorcodes、warnings、confidence を付与し、1636 件の専門家評価付きの評価を手動でラベル付けする。
• プロンプトとモデル出力を含む JSON 形式のデータ点を使用して能力と失敗モードを分析する。
• miniGHOSTS および GHOSTS データセットで、二つの ChatGPT バージョン (9-Jan-2023 and 30-Jan-2023) と GPT-4 を比較する。
• 警告コードやエラーコードを含む徹底的なテスト手法を採用して失敗モードを分類する。
• サブデータセット全体にわたる定性的・定量的分析を提供し、ドメイン横断のパフォーマンスやプロンプト設計の効果を含む。

実験結果

リサーチクエスチョン

• RQ1 多様な課題にわたって、ChatGPT バージョンと GPT-4 は大学院レベルの数学にどれだけ対応できるか？
• RQ2 ChatGPT を数学アシスタントとして用いる際の具体的な強みと失敗モードは何か？
• RQ3 GPT-4 は学部レベルの数学能力を拡張できるのに対し、ChatGPT が大学院レベルで苦戦するのか？
• RQ4 2023年1月のリリースと GPT-4 の間で、モデルの性能はどのように時間とともに進化するか？
• RQ5 これらのモデルは実務で専門の数学者をどのように最も効果的に支援できるか？

主な発見

• ChatGPT バージョンは大学院レベルの課題で限られた成功を示し、平均評価はおよそ 3.2 で、証明や複雑な記号計算に強い弱点がある。
• GPT-4 は miniGHOSTS でより高い性能を達成し、多くの完璧な評価を得ているが、full GHOSTS ではまだ大学院レベルの習熟には及ばない。
• GPT-4 は ChatGPT を大幅に上回る一方、両者とも多くの課題で大学院生レベルには及ばない。
• ChatGPT は素早い事実検索や文脈理解のための数学的検索エンジンおよび知識ベースのインターフェースとして優れている。
• プロンプト設計は複雑なタスクに対してほとんど限られた改善しかもたらさず、GPT-4 はしばしば長く、長文的な回答を提供することがあり、読みやすさを助けることもあれば妨げることもある。
• 総じて、ChatGPT は高度な数学的問題の唯一の解決者というより、検索と整理のアシスタントとしてより適している。