Skip to main content
QUICK REVIEW

[論文レビュー] Investigating the Effectiveness of ChatGPT in Mathematical Reasoning and Problem Solving: Evidence from the Vietnamese National High School Graduation Examination

Xuan-Quy Dao, Ngoc-Bich Le|arXiv (Cornell University)|Jun 10, 2023
Online Learning and AnalyticsComputer Science被引用数 52
ひとこと要約

本研究は、250問のベトナム語VNHSGE数学問題を4つの難易度レベルと10のトピックに跨って評価し、知識レベルの問題で高いパフォーマンスを示す一方で難易度が上がるにつれて低下すること、トピックごとの顕著な強みと弱みが存在することを明らかにしている。

ABSTRACT

This study offers a complete analysis of ChatGPT's mathematics abilities in responding to multiple-choice questions for the Vietnamese National High School Graduation Examination (VNHSGE) on a range of subjects and difficulty levels. The dataset included 250 questions divided into four levels: knowledge (K), comprehension (C), application (A), and high application (H), and it included ten themes that covered diverse mathematical concepts. The outcomes demonstrate that ChatGPT's performance varies depending on the difficulty level and subject. It performed best on questions at Level (K), with an accuracy rate of $83\%$; but, as the difficulty level rose, it scored poorly, with an accuracy rate of $10\%$. The study has also shown that ChatGPT significantly succeeds in providing responses to questions on subjects including exponential and logarithmic functions, geometric progression, and arithmetic progression. The study found that ChatGPT had difficulty correctly answering questions on topics including derivatives and applications, spatial geometry, and Oxyz spatial calculus. Additionally, this study contrasted ChatGPT outcomes with Vietnamese students in VNHSGE and in other math competitions. ChatGPT dominated in the SAT Math competition with a success rate of $70\%$, followed by VNHSGE mathematics ($58.8\%)$. However, its success rates were lower on other exams, such as AP Statistics, the GRE Quantitative, AMC 10, AMC 12, and AP Calculus BC. These results suggest that ChatGPT has the potential to be an effective teaching tool for mathematics, but more work is needed to enhance its handling of graphical data and address the challenges presented by questions that are getting more challenging.

研究の動機と目的

  • VNHSGE mathematics dataset (2019–2023) を用いて、ChatGPT の数学的推論と問題解決能力を評価する。
  • 質問の難易度、トピック、形式によってパフォーマンスがどのように変化するかを特定する。
  • ChatGPT の結果を教育のベンチマークや他の試験と比較し、教育補助/評価支援ツールとしての可能性を評価する。

提案手法

  • 公式のVNHSGE mathematics questions (2019–2023) を収集し、4つのレベル(K, C, A, H)と10のトピック(M11A–M12G)に分類する。
  • 質問をLaTeXに変換し、次にChatGPT入力用のJSONへと変換する。ChatGPT の出力を取得し、公式解答と比較して正答率を算出する。
  • レベル、トピック、年ごとにパフォーマンスを分析し、分布を可視化し年平均スコアを算出する(例:2019–2023)。
  • 質問構造とカバー範囲を説明する知識マトリクス(Table 1)と分布図(Figure 1)を構築する。
  • 一貫したChatGPT 出力を確保するため、構造化されたプロンプト/レスポンス形式を使用する(Table 2, Figure 2)。
Figure 1: Distribution of the number of questions by levels and topics in percentage.
Figure 1: Distribution of the number of questions by levels and topics in percentage.

実験結果

リサーチクエスチョン

  • RQ1ChatGPT は、異なる認知レベル(K, C, A, H)にわたるベトナム高等学校レベルの数学問題でどの程度の性能を示すか?
  • RQ2どのトピック(M11A–M12G)がChatGPT の正確さを高く/低く示し、難易度とのトピック相互作用は結果にどのように影響するか?
  • RQ3ChatGPT の2019–2023年のパフォーマンスの推移は、学習やモデルの改善を反映しているか?
  • RQ4これらの結果が、数学教育における教育ツールとしてのChatGPT の使用(教授法/評価支援)にどのような意味を持つか?

主な発見

  • ChatGPT の2019–2023年の全体平均スコアは 5.88/10 (147/250)。
  • ChatGPT の正確さはKレベルの問題で最も高く(年を跨いで75–90%)、Cで40–72%、Aで0–57%、Hで0–22%へと低下する。
  • ChatGPT は複数の年にわたりいくつかのトピック(例:M11B)で100% の正確さを示すが、トピックごとに大きく異なり(例:M12G 0–75%)、多くの年でHレベルの性能を欠く。
  • 難易度が上がるにつれてパフォーマンスが低下し、概念を新規または複雑な問題へ適用する際の制限を示す。
  • 特定のトピック(例:M11A、M11B、M12D、M12F)は良好な結果を示す一方、微分と応用(M12A)やM12Gなどは弱いまたは不安定なパフォーマンスを示す。
  • 問題の順序はChatGPT のパフォーマンスに影響を与え、疲労様の効果と試験設計への示唆を示唆する。
Figure 6: Distribution of the percentage of correct answer in levels and topics.
Figure 6: Distribution of the percentage of correct answer in levels and topics.

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。