Skip to main content
QUICK REVIEW

[論文レビュー] CMATH: Can Your Language Model Pass Chinese Elementary School Math Test?

Tianwen Wei, Jian Luan|arXiv (Cornell University)|Jun 29, 2023
Text Readability and SimplificationComputer Science被引用数 9
ひとこと要約

CMATHは1.7千件の中国語小学生級算数文章題データセットを導入し、GPT-4のみが全6学年を通じて60%以上の一貫したスコアを示し、GPT-4は誤導情報にもロバストであることを示した。

ABSTRACT

We present the Chinese Elementary School Math Word Problems (CMATH) dataset, comprising 1.7k elementary school-level math word problems with detailed annotations, source from actual Chinese workbooks and exams. This dataset aims to provide a benchmark tool for assessing the following question: to what grade level of elementary school math do the abilities of popular large language models (LLMs) correspond? We evaluate a variety of popular LLMs, including both commercial and open-source options, and discover that only GPT-4 achieves success (accuracy $\geq$ 60\%) across all six elementary school grades, while other models falter at different grade levels. Furthermore, we assess the robustness of several top-performing LLMs by augmenting the original problems in the CMATH dataset with distracting information. Our findings reveal that GPT-4 is able to maintains robustness, while other model fail. We anticipate that our study will expose limitations in LLMs' arithmetic and reasoning capabilities, and promote their ongoing development and advancement.

研究の動機と目的

  • 実データ源から粒度の細かい学年注釈付きの中国語小学生算数文章題データセットを作成する。
  • 0ショット solvingでCMATH問題を6学年にわたり評価する。
  • 問題の複雑さ(桁数と推論ステップ)がモデル性能にどう影響するかを分析する。
  • 問題文に含まれる注意を引く情報へのロバスト性を上位モデルで評価する。
  • 小学生の算数推論能力に対するモデルの能力を人間中心の直観的解釈として提供する。

提案手法

  • 学年ごと、回答タイプ、推論ステップ、桁数を注釈した1.7k問のCMATHを組み立てる。
  • GPT-4、ChatGPT、MOSS、Ziya-LLaMA、Chinese-Alpaca系、RWKV、Baichuan、ChatGLMなどAPI経由およびオープンモデルのLLMを0ショットモードで評価する。
  • 正規表現を用いてモデル出力から自動的に数値を抽出し、グラウンドトゥルースの数値と比較する。
  • 学年、推論ステップ、数字の複雑さに応じた性能を分析する。
  • 単一数値の誤導要素を追加した誤導要素データセットを作成し、頑健性をテストして性能低下を測定する。
Figure 1: Sample problems along with their English translations (not part of the dataset) and human annotations. The column title “#Steps” and “#Digits” stand for “number of reasoning steps” and “number of digits” respectively.
Figure 1: Sample problems along with their English translations (not part of the dataset) and human annotations. The column title “#Steps” and “#Digits” stand for “number of reasoning steps” and “number of digits” respectively.

実験結果

リサーチクエスチョン

  • RQ1CMATHで評価した場合、一般的なLLMの算数文章題解法能力はどの学年レベルに対応するか。
  • RQ2問題の複雑さ(桁数と推論ステップ)は学年ごとのモデルの正確性にどのように影響するか。
  • RQ3主要モデルは算数文章題に挿入された誤導情報に対して頑健か。
  • RQ4誤導要素を含む場合、どのモデルが正確性と頑健性を最もよく保つか。

主な発見

  • GPT-4は6学年すべてで60%以上の正確さを超える唯一のモデル。
  • ChatGPTは1–4学年で成功するが、5–6学年で失敗。
  • オープンソース/中国語系LLMの多くは、いくつかの限られたケースを除き学年を問わず失敗。
  • 学年が上がるほど、推論ステップや数字の複雑さが性能低下に寄与し、推論ステップの影響が算数の複雑さより大きい。
  • GPT-4は誤導要素に対して頑健さを保つ一方、他モデルは顕著な低下を示す。
  • 誤導要素の実験ではChatGPTが容易に惑わされる一方、GPT-4は関連情報に集中している。
(a)
(a)

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。