[논문 리뷰] Investigating the Effectiveness of ChatGPT in Mathematical Reasoning and Problem Solving: Evidence from the Vietnamese National High School Graduation Examination
연구는 ChatGPT의 베트남 VNHSGE 수학 문제 250개를 네 가지 난이도(K, C, A, H)와 열 가지 주제에 걸쳐 평가하여 지식 수준 항목에서 강한 성능을 보이지만 난이도가 증가함에 따라 하락하고, 주제별 강점과 약점이 뚜렷하다는 것을 시사합니다.
This study offers a complete analysis of ChatGPT's mathematics abilities in responding to multiple-choice questions for the Vietnamese National High School Graduation Examination (VNHSGE) on a range of subjects and difficulty levels. The dataset included 250 questions divided into four levels: knowledge (K), comprehension (C), application (A), and high application (H), and it included ten themes that covered diverse mathematical concepts. The outcomes demonstrate that ChatGPT's performance varies depending on the difficulty level and subject. It performed best on questions at Level (K), with an accuracy rate of $83\%$; but, as the difficulty level rose, it scored poorly, with an accuracy rate of $10\%$. The study has also shown that ChatGPT significantly succeeds in providing responses to questions on subjects including exponential and logarithmic functions, geometric progression, and arithmetic progression. The study found that ChatGPT had difficulty correctly answering questions on topics including derivatives and applications, spatial geometry, and Oxyz spatial calculus. Additionally, this study contrasted ChatGPT outcomes with Vietnamese students in VNHSGE and in other math competitions. ChatGPT dominated in the SAT Math competition with a success rate of $70\%$, followed by VNHSGE mathematics ($58.8\%)$. However, its success rates were lower on other exams, such as AP Statistics, the GRE Quantitative, AMC 10, AMC 12, and AP Calculus BC. These results suggest that ChatGPT has the potential to be an effective teaching tool for mathematics, but more work is needed to enhance its handling of graphical data and address the challenges presented by questions that are getting more challenging.
연구 동기 및 목표
- ChatGPT의 수학적 추론 및 문제 해결 능력을 VNHSGE 수학 데이터셋(2019–2023)을 사용해 평가한다.
- 질문의 난이도, 주제, 형식에 따라 성능이 어떻게 달라지는지 파악한다.
- 교육 벤치마크 및 다른 시험과의 비교를 통해 교육 보조 도구로서의 가능성을 평가한다.
제안 방법
- 공식 VNHSGE 수학 문제(2019–2023)를 수집하고 네 가지 레벨(K, C, A, H)과 열 가지 주제(M11A–M12G)로 분류한다.
- 질문을 LaTeX로 변환한 후 ChatGPT 입력용 JSON으로 변환한다; ChatGPT 출력을 얻고 공식 정답과 비교해 정확도를 계산한다.
- 레벨, 주제, 연도별로 성능을 분석하고 분포를 시각화하며 연도 평균 점수(예: 2019–2023)를 계산한다.
- 질문 구조와 범위를 설명하기 위해 지식 매트릭스(Table 1)와 분포 그림(Figure 1)을 구성한다.
- 일관된 ChatGPT 출력을 보장하기 위해 구조화된 프롬프트/응답 형식을 사용한다(Table 2, Figure 2).

실험 결과
연구 질문
- RQ1ChatGPT가 서로 다른 인지 수준(K, C, A, H)에 걸친 베트남 고등학교 수준의 수학 문제에서 어떻게 성능을 보이나요?
- RQ2어떤 주제들(M11A–M12G)이 더 높은 또는 낮은 ChatGPT 정확도를 보이며, 난이도와의 주제 상호작용이 결과에 어떻게 영향을 미치나요?
- RQ3ChatGPT의 성능이 연도별(2019–2023)로 어떻게 추세를 보이며 학습이나 모델 개선을 반영하나요?
- RQ4이 결과가 수학 교육에서 ChatGPT를 가르치기/평가 도구로 사용하는 데 어떤 시사점을 가지나요?
주요 결과
- ChatGPT의 2019–2023년 전체 평균 점수는 5.88/10(147/250)이다.
- ChatGPT 정확도는 K-레벨 질문에서 가장 높고(연도별 75–90%), C(40–72%), A(0–57%), H(0–22%)로 하락한다.
- 여러 주제에서(예: M11B) 여러 해에 걸쳐 100% 정확성을 보이지만 주제별로 큰 편차가 있으며(M12G 0–75% 등) 많은 해에 H-레벨 성능을 놓친다.
- 난이도가 증가함에 따라 성능이 떨어져 개념을 새로운 또는 복잡한 문제에 적용하는 데 한계를 시사한다.
- 특정 주제들(예: M11A, M11B, M12D, M12F)은 강한 결과를 보이는 반면, 도함수와 응용(M12A) 및 M12G와 같은 주제는 약하거나 불안정한 성능을 보인다.
- 문제의 순서가 ChatGPT의 성능에 영향을 미치며 피로 유사 효과와 시험 설계에 대한 시사점을 시사한다.

이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.