Skip to main content
QUICK REVIEW

[论文解读] CMATH: Can Your Language Model Pass Chinese Elementary School Math Test?

Tianwen Wei, Jian Luan|arXiv (Cornell University)|Jun 29, 2023
Text Readability and SimplificationComputer Science被引用 9
一句话总结

CMATH 引入了一个包含1.7千条目的一步步小学生英文(应为中文)算术应用题数据集,并且显示 GPT-4 是唯一在所有年级中持续得分超过60%的评估模型,且 GPT-4 对干扰项具有鲁棒性。

ABSTRACT

We present the Chinese Elementary School Math Word Problems (CMATH) dataset, comprising 1.7k elementary school-level math word problems with detailed annotations, source from actual Chinese workbooks and exams. This dataset aims to provide a benchmark tool for assessing the following question: to what grade level of elementary school math do the abilities of popular large language models (LLMs) correspond? We evaluate a variety of popular LLMs, including both commercial and open-source options, and discover that only GPT-4 achieves success (accuracy $\geq$ 60\%) across all six elementary school grades, while other models falter at different grade levels. Furthermore, we assess the robustness of several top-performing LLMs by augmenting the original problems in the CMATH dataset with distracting information. Our findings reveal that GPT-4 is able to maintains robustness, while other model fail. We anticipate that our study will expose limitations in LLMs' arithmetic and reasoning capabilities, and promote their ongoing development and advancement.

研究动机与目标

  • 从真实来源创建一个细粒度、按年级标注的中文小学算术应用题数据集。
  • 在六个年级上对流行的大型语言模型进行零-shot 求解评估。
  • 分析题目复杂度(数字位数与推理步骤)如何影响模型表现。
  • 评估顶级模型对题干中干扰信息的鲁棒性。
  • 为模型在小学数学推理方面的能力提供直观、以人为本的解释。

提出的方法

  • 汇编 CMATH,包含按年级、答案类型、推理步骤和数字位数标注的1.7k道题。
  • 在零-shot 模式下评估可通过 API 访问的模型与开源模型(GPT-4、ChatGPT、MOSS、Ziya-LLaMA、中文 Alpaca 变体、RWKV、Baichuan、ChatGLM 等)。
  • 通过正则表达式对模型输出进行自动数字提取,以与真实数字进行比较。
  • 分析随年级、推理步骤和数字复杂度的变化而的表现。
  • 创建干扰项数据集,在题干中加入单一数字干扰项以测试鲁棒性,并测量表现下降。
Figure 1: Sample problems along with their English translations (not part of the dataset) and human annotations. The column title “#Steps” and “#Digits” stand for “number of reasoning steps” and “number of digits” respectively.
Figure 1: Sample problems along with their English translations (not part of the dataset) and human annotations. The column title “#Steps” and “#Digits” stand for “number of reasoning steps” and “number of digits” respectively.

实验结果

研究问题

  • RQ1 popular LLM 在 CMATH 的评估中,其数学应用题解决能力达到哪个小学年级水平?
  • RQ2题目复杂度(数字位数和推理步骤)如何影响各年级的模型准确性?
  • RQ3顶级模型是否对插入的干扰信息具有鲁棒性?
  • RQ4在面对干扰项时,哪些模型能最好地保持准确性和鲁棒性?

主要发现

  • GPT-4 是唯一在六个年级均达到或超过60%准确率的模型。
  • ChatGPT 在1-4年级表现良好,但在5-6年级失败。
  • 大多数开源/面向中文的LLM在多数年级均未达标,只有少数在个别情况有所突破。
  • 模型表现随年级、推理步骤或数字位数增加而下降,推理步骤的影响通常大于算术复杂度。
  • GPT-4 对干扰项保持鲁棒,其他模型则出现显著下降。
  • 干扰项实验显示 ChatGPT 容易被误导,而 GPT-4 能保持关注相关信息。
(a)
(a)

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。