[论文解读] Limits of an AI program for solving college math problems

Ernest Davis|arXiv (Cornell University)|Aug 14, 2022

Artificial Intelligence in Education被引用 41

一句话总结

本文批评 Drori et al. 2022，认为 Sympy 执行问题求解，而神经组件主要负责格式化输入；它质疑 81% 的成功率主张，并强调方法论与解释方面的问题。

ABSTRACT

Drori et al. (2022) report that "A neural network solves, explains, and generates university math problems by program synthesis and few-shot learning at human level ... [It] automatically answers 81\% of university-level mathematics problems." The system they describe is indeed impressive; however, the above description is very much overstated. The work of solving the problems is done, not by a neural network, but by the symbolic algebra package Sympy. Problems of various formats are excluded from consideration. The so-called "explanations" are just rewordings of lines of code. Answers are marked as correct that are not in the form specified in the problem. Most seriously, it seems that in many cases the system uses the correct answer given in the test corpus to guide its path to solving the problem.

研究动机与目标

• 评估系统如何解决大学水平的数学问题以及哪些组件负责。
• 评估所声称的81%成功率的有效性以及学习设置（零-shot 与少-shot）。
• 识别题目格式、题干与所给解释或输出之间的错配。
• 检查解释的性质以及它们是否能对问题求解提供有意义的启发。

提出的方法

• 对问题求解流程及 Sympy 在解题过程中的作用进行描述性批评。
• 将声称的性能与 GPT-3 等基线的结果进行比较。
• 检查题目格式、输入适配以及答案对题目要求的对齐情况。
• 分析所报道的解释及其对学习或理解的实用性。

实验结果

研究问题

• RQ1 系统中实际执行数学求解的组件是什么（神经网络 vs 符号数学包）？
• RQ2 所报道的81%成功率是否准确反映系统在不同题型和格式上的能力？
• RQ3 所声称的解释和少-shot 追加是否在方法论上经得起考验并真正具有教学意义？
• RQ4 题目格式和评估标准如何影响报道的结果？
• RQ5 系统在引导求解时在多大程度上依赖测试语料库中的答案或评分过程中的表征？

主要发现

• 实际的求解工作由 Sympy 完成，而不是神经网络。
• 该系统无法解决涉及图像或证明的问题，这对81%主张构成挑战。
• 某些输出并非原始题目所要求的形式。
• 解释大多是逐行的代码描述，而非有意义的问题解释。
• 关于零-shot 和少-shot 学习如何触发，以及该过程是否依赖于从语料库中获取正确答案的问题。
• 论文的署名和方法细节引发关于草率性和潜在歪曲的质疑。