[논문 리뷰] ChatGPT may excel in States Medical Licensing Examination but falters in basic Linear Algebra

Eli Bagno, Thierry Dana-Picard외 1명|arXiv (Cornell University)|2023. 06. 23.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

이 논문은 챗지피티의 기초 선형대수학 분야에서의 성능을 평가하여, 잘 정리된 유사한 응답을 제공하지만 종종 기본적인 수학적 오류와 논리적 모순을 범함을 드러낸다. 예를 들어 잘못된 증명을 제공하거나 모순을 인식하지 못함으로써, 표준 시험(예: USMLE)에서의 뛰어난 성과에도 불구하고 교육 도구로의 신뢰성에 의문을 제기한다.

ABSTRACT

The emergence of ChatGPT has been rapid, and although it has demonstrated positive impacts in certain domains, its influence is not universally advantageous. Our analysis focuses on ChatGPT's capabilities in Mathematics Education, particularly in teaching basic Linear Algebra. While there are instances where ChatGPT delivers accurate and well-motivated answers, it is crucial to recognize numerous cases where it makes significant mathematical errors and fails in logical inference. These occurrences raise concerns regarding the system's genuine understanding of mathematics, as it appears to rely more on visual patterns rather than true comprehension. Additionally, the suitability of ChatGPT as a teacher for students also warrants consideration.

연구 동기 및 목표

• 챗지피티의 선형대수학의 기초 문제를 가르치고 해결하는 데 있어서의 신뢰성을 평가하기 위해.
• 챗지피티의 응답이 핵심 개념에서 논리적 일관성과 수학적 정확성을 보이는지 조사하기 위해.
• 초보 학습자를 대상으로 한 수학 교육에서 대규모 언어 모델을 교육 보조 도구로 의존할 경우 발생할 수 있는 위험을 평가하기 위해.
• 특히 높은 자신감을 가지고 제시될 때 AI에 의해 생성된 오해의 정보가 학술 환경에 미치는 영향을 탐색하기 위해.

제안 방법

• 연구진은 선형대수학 분야에서 점차 복잡해지는 질문들을 제기하면서 챗지피티와의 일련의 구조화된 대화를 진행하였다.
• 벡터 공간의 정의, 차원 계산, 기저의 확인 능력을 시험하였으며, 특히 차수 4 이하의 실수 계수 다항식 공간 ℝ₄[x]를 포함하였다.
• 이전 응답에서 드러난 모순을 드러내기 위해 후속 질문을 통해 모순을 유도하였다.
• 특히 잘못된 결론에서 되돌아서지 못할 경우의 논리적 구조와 일관성을 분석하였다.
• 예를 들어 선형 변환의 차원 정리 증명 요청에 대한 반응을 평가하였다.
• 자신의 주장이 상충될 경우 챗지피티가 오류를 인식하고 수정하는지 분석하였다.

실험 결과

연구 질문

• RQ1 챗지피티는 ℝ₄[x]의 차원을 정확하고 일관되게 계산할 수 있는가?
• RQ2 모순이 드러나면 챗지피티는 자신의 추론에서 논리적 모순을 인지하고 수정할 수 있는가?
• RQ3 기초적인 오류를 포함하고 있음에도 불구하고, 비전문가 사용자에게는 여전히 수학적으로 타당해 보이는 응답을 얼마나 많이 제공하는가?
• RQ4 잘 정리된 설명을 내놓더라도 진정으로 수학적 이해가 부족한 상황에서 모델의 행동이 어떻게 드러나는가?
• RQ5 대규모 언어 모델을 수학 교육의 교육 보조 도구로 사용할 경우 발생할 수 있는 교육적 위험은 무엇인가?

주요 결과

• 챗지피티는 ℝ₄[x]의 차원이 5임을 정확히 식별하여 기본 정의에 대한 숙련도를 보였다.
• 표준 단항기저 {1, x, x², x³, x⁴}가 ℝ₄[x]의 유효한 기저임을 확인하여 정확한 응답을 하였다.
• 모든 기저가 동일한 원소 개수를 가져야 하는지 질문에 대해 챗지피티는 정확한 답변과 함께 상세한 설명을 제공하였다.
• 챗지피티는 {1−x, x−x², x²−x³, x⁴−x³} 집합이 ℝ₄[x]의 기저가 될 수 없다는 점을 인식하지 못했으며, 이는 선형 종속이면서 원소 수가 4개이기 때문에 이전에 언급한 기저의 원소 수 조건과 모순된다.
• 모순이 드러난 후 챗지피티는 결국 오류를 인정했지만, 오랜 기간 동안 오해의 소지가 있는 추론 체인을 거친 후였다.
• 모델는 종종 설득력 있는 듯 보이지만 잘못된 증명을 생성하고 내부의 논리적 모순을 감지하지 못함으로써, 진정한 이해보다는 패턴 매칭에 의존하고 있음을 시사한다.