[论文解读] Can ChatGPT pass the Vietnamese National High School Graduation Examination?

Xuan-Quy Dao, Ngoc-Bich Le+2 more|arXiv (Cornell University)|Jun 15, 2023

Artificial Intelligence in Healthcare and Education被引用 32

一句话总结

本论文在越南全国高中毕业考试（VNHSGE）上测试 ChatGPT，显示 ChatGPT 可以通过，各科平均分为6–7，各科表现不同。

ABSTRACT

This research article highlights the potential of AI-powered chatbots in education and presents the results of using ChatGPT, a large language model, to complete the Vietnamese National High School Graduation Examination (VNHSGE). The study dataset included 30 essays in the literature test case and 1,700 multiple-choice questions designed for other subjects. The results showed that ChatGPT was able to pass the examination with an average score of 6-7, demonstrating the technology's potential to revolutionize the educational landscape. The analysis of ChatGPT performance revealed its proficiency in a range of subjects, including mathematics, English, physics, chemistry, biology, history, geography, civic education, and literature, which suggests its potential to provide effective support for learners. However, further research is needed to assess ChatGPT performance on more complex exam questions and its potential to support learners in different contexts. As technology continues to evolve and improve, we can expect to see the use of AI tools like ChatGPT become increasingly common in educational settings, ultimately enhancing the educational experience for both students and educators.

研究动机与目标

• 通过评估 ChatGPT 在高风险考试（VNHSGE）来推动教育中的 AI。
• 使用越南数据集评估 ChatGPT 处理多科目的能力。
• 将 ChatGPT 的表现与人类学生分布及先前 OpenAI-考试结果进行比较。
• 讨论 AI 支持的学习与教育评估的影响。

提出的方法

• 使用 VNHSGE 评估集（多科目：数学、英语、物理、化学、生物、历史、地理、社会公德、文学）。
• 通过 OpenAI API 对 ChatGPT 进行零-shot 提示，采用结构化答案格式。
• 基于与人类正确解的对比，以二元正确性指标对回答进行评分。
• 使用教育部公式计算 General Admission Scores (GAS)，并比较 2019–2023 年。
• 将科目对科目表现与越南学生分布及其他 AI 评测案例进行比较。

实验结果

研究问题

• RQ1 ChatGPT 能否通过越南全国高中毕业考试（VNHSGE）？
• RQ2 ChatGPT 在 VNHSGE 的不同科目中的表现有何变化？
• RQ3 ChatGPT 在 VNHSGE 的表现与其在其他标准化考试上的表现以及越南学生分数分布相比如何？

主要发现

• ChatGPT 在跨年和科目中的平均分数区间显示出通过潜力（自然科和社会科的总体 GAS 分数为 6.35–6.94）。
• 在 2019–2023 年的各科中，ChatGPT 的平均分从 4.8 到 7.92 不等，英语通常最高，化学通常最低。
• ChatGPT 的英语表现始终偏高（平均 7.6–8.6），相对于许多越南学生。
• 数学、物理、生物、历史、地理和文学表现出变化但通常具有竞争力；化学在若干年落后。
• 与其他考试相比，ChatGPT 在 VNHSGE 的表现与某些领域相当或更好（如英语、文学），但在数学和化学方面相对于某些基准可能较弱；地理因 GPT-3.5 缺乏图像/图表分析而受限。
• 总体而言，ChatGPT 根据评分公式通过了 VNHSGE，显示其作为教育工具和基于提示的考试助手的潜力。