[论文解读] ChatGPT may excel in States Medical Licensing Examination but falters in basic Linear Algebra

Eli Bagno, Thierry Dana-Picard+1 more|arXiv (Cornell University)|Jun 23, 2023

Artificial Intelligence in Healthcare and Education被引用 4

一句话总结

本文评估了ChatGPT在基础线性代数中的表现，发现尽管其回答看似合理且结构良好，却频繁出现基本的数学错误和逻辑不一致——例如提供错误的证明并无法识别矛盾——这削弱了其作为教学工具的可靠性，尽管它在USMLE等标准化考试中表现优异。

ABSTRACT

The emergence of ChatGPT has been rapid, and although it has demonstrated positive impacts in certain domains, its influence is not universally advantageous. Our analysis focuses on ChatGPT's capabilities in Mathematics Education, particularly in teaching basic Linear Algebra. While there are instances where ChatGPT delivers accurate and well-motivated answers, it is crucial to recognize numerous cases where it makes significant mathematical errors and fails in logical inference. These occurrences raise concerns regarding the system's genuine understanding of mathematics, as it appears to rely more on visual patterns rather than true comprehension. Additionally, the suitability of ChatGPT as a teacher for students also warrants consideration.

研究动机与目标

• 评估ChatGPT在教授和解决线性代数基础问题中的可靠性。
• 调查ChatGPT在核心概念中是否表现出逻辑一致性和数学准确性。
• 评估依赖大型语言模型作为数学教育中的教学助手所带来的风险，尤其是对初学者而言。
• 探讨在学术环境中，当AI以高置信度呈现错误信息时的潜在影响。

提出的方法

• 研究人员与ChatGPT进行了系列结构化对话，提出逐步复杂化的线性代数问题。
• 他们测试了ChatGPT定义向量空间、计算维数以及验证基的能力，包括实系数多项式空间ℝ₄[x]（次数不超过4次）。
• 通过后续问题引入矛盾，以暴露其早期回答中的不一致性。
• 他们分析了ChatGPT推理的一致性和逻辑结构，特别是当其未能从错误结论中回溯时的表现。
• 他们评估了模型对证明请求的响应，例如线性变换的维数定理。
• 他们考察了ChatGPT如何处理自相矛盾的陈述，以及在被指出错误时是否承认错误。

实验结果

研究问题

• RQ1 ChatGPT能否准确且一致地解决线性代数中的基础问题，例如确定向量空间的维数？
• RQ2 当面对矛盾时，ChatGPT是否能识别并纠正自身推理中的逻辑不一致性？
• RQ3 在存在根本性错误的情况下，ChatGPT的回答在未经训练的用户眼中在多大程度上显得数学上合理？
• RQ4 即使生成了看似合理的解释，模型的行为在多大程度上反映出其缺乏真正的数学理解？
• RQ5 将类似ChatGPT的大型语言模型用作数学教育中的教学助手，存在哪些教学风险？

主要发现

• ChatGPT正确识别出ℝ₄[x]的维数为5，展示了其在基本定义上的能力。
• 它确认标准单项式基{1, x, x², x³, x⁴}是ℝ₄[x]的有效基，这是正确的。
• 当被问及向量空间的所有基是否都具有相同数量的元素时，ChatGPT给出了正确答案，并附有详细解释。
• ChatGPT未能识别出集合{1−x, x−x², x²−x³, x⁴−x³}不能是ℝ₄[x]的基，因为该集合线性相关且仅有四个元素，这与之前关于基基数的陈述相矛盾。
• 在被指出矛盾后，ChatGPT最终承认了错误，但仅在经过冗长且具有误导性的推理链之后。
• 该模型经常生成看似正确但实际错误的证明，且无法检测内部不一致性，表明其更依赖模式匹配而非真正理解。