[논문 리뷰] Bridging the Novice-Expert Gap via Models of Decision-Making: A Case Study on Remediating Math Mistakes

Rose E. Wang, Qingyang Zhang외 3명|arXiv (Cornell University)|2023. 10. 16.

Mathematics Education and Teaching Techniques인용 수 4

한 줄 요약

이 논문은 전문 수학 강사의 의사결정 과정을 세 가지 과제로 분해하는 ReMath라는 벤치마크를 소개한다: 오류 유형 추론, 보완 전략 선택, 응답 생성. LLM에 대해 평가한 결과, 오류 유형과 전략을 제공함으로써 기준 모델 대비 응답 품질이 75% 향상되었지만, 여전히 전문 강사 수준의 성능에 못 미치며, 이는 수업 지도에서 인간-AI 협업의 필요성을 드러낸다.

ABSTRACT

Scaling high-quality tutoring remains a major challenge in education. Due to growing demand, many platforms employ novice tutors who, unlike experienced educators, struggle to address student mistakes and thus fail to seize prime learning opportunities. Our work explores the potential of large language models (LLMs) to close the novice-expert knowledge gap in remediating math mistakes. We contribute Bridge, a method that uses cognitive task analysis to translate an expert's latent thought process into a decision-making model for remediation. This involves an expert identifying (A) the student's error, (B) a remediation strategy, and (C) their intention before generating a response. We construct a dataset of 700 real tutoring conversations, annotated by experts with their decisions. We evaluate state-of-the-art LLMs on our dataset and find that the expert's decision-making model is critical for LLMs to close the gap: responses from GPT4 with expert decisions (e.g., "simplify the problem") are +76% more preferred than without. Additionally, context-sensitive decisions are critical to closing pedagogical gaps: random decisions decrease GPT4's response quality by -97% than expert decisions. Our work shows the potential of embedding expert thought processes in LLM generations to enhance their capability to bridge novice-expert knowledge gaps. Our dataset and code can be found at: \url{https://github.com/rosewang2008/bridge}.

연구 동기 및 목표

• 높은 품질의 수학 지도의 확장성 문제를 해결하기 위해 초보자 강사들에게 AI 지원을 제공함으로써.
• 현재 LLM이 수학 오류를 효과적으로 보완하는 데서의 핵심 격차, 특히 교육적 추론 능력 부족을 규명함으로써.
• 전문가의 오류 보완 의사결정 과정을 모델링하기 위한 체계적인 프레임워크를 개발함으로써.
• LLM의 실제 수업 상황에서의 성능을 전문 강사와 비교하여 응답 품질과 교육적 민감도를 중점적으로 평가함으로써.
• LLM에 오류 유형과 전략 정보를 제공함으로써 그들의 보완 응답 품질이 크게 향상되지만, 전문가 수준에 도달하지는 못함을 입증함으로써.

제안 방법

• 경험 많은 수학 강사들과 협력하여 보완 과정을 세 가지로 분해: 오류 유형 추론(과제 A), 전략 선택(과제 B), 응답 생성(과제 C).
• Title I 학교의 1~5학년 수학 지도 상호작용 데이터셋을 구축하였으며, 각 예시에 대해 두 명의 전문 강사가 오류 유형과 전략을 주석 처리함.
• 최신 지시 튜닝 및 대화용 LLM(예: GPT-4, Flan-T5, GODEL)을 ReMath 벤치마크에서 자동 평가 지표와 인간 평가를 통해 평가함.
• 계층적 프롬프팅 전략을 적용: 먼저 오류 유형과 전략을 유도하고, 이를 종합하여 최종 응답을 생성함으로써 체계적 지침의 영향을 평가함.
• 응답 품질 평가에 자동 평가 지표(ROUGE, BLEU, Self-BLEU, 엔트로피)와 인간 주석(선호도, 유용성, 배려심, 기계적 느낌)을 사용함.
• 네 가지 조건에서 모델 출력을 비교: 제약 없음, 오류 유형(e) 제공, 전략(z) 제공, 둘 다 제공(e,z)하여 체계적 입력의 영향을 분리함.

Figure 1: Illustration of the ReMath benchmark. The left handside shows the original tutor-student conversation on the lesson topic, rounding. The last message is the student’s mistake that should be remediated. The right handside shows the original tutor’s response and the math teacher’s step-by-st

실험 결과

연구 질문

• RQ1 LLM은 학생의 수학 오류를 보완할 때 원래의 초보자 강사의 응답보다 얼마나 뛰어나게 성과를 내는가?
• RQ2 LLM에 오류 유형과 보완 전략 정보를 제공함으로써 응답 품질은 어떻게 향상되는가?
• RQ3 LLM이 생성한 응답은 교육적 품질, 공감 능력, 정확성 측면에서 전문 강사의 응답과 어떻게 비교되는가?
• RQ4 체계적 프롬프팅(오류 유형 + 전략)은 수업 과제에서 모델 성능 향상에 어떤 역할을 하는가?
• RQ5 현재 LLM만으로는 전문가 수준의 수학 오류 보완 품질을 달성할 수 있는가, 아니면 인간이 개입하는 방식이 필수적인가?

주요 결과

• LLM은 항상 원래의 초보자 강사 응답보다 보완 품질에서 뛰어나며, GPT-4는 (e,z) 조건에서 인간 선호도 점수 0.95를 기록함.
• 모델에 오류 유형과 전략 정보를 모두 제공함으로써 기준 생성 대비 응답 품질이 인간 선호도 기준으로 75% 향상됨.
• 오류 유형과 전략을 모두 제공함에도 불구하고, 최고의 모델 응답(GPT-4)은 여전히 전문 강사 응답에 뒤지며, 전문 강사의 인간 선호도 점수는 1.26을 기록함.
• 오류 유형과 전략의 포함은 응답의 통일성과 교육적 관련성을 크게 향상시키며, 환상적 요소를 줄이고 학습 목표에 대한 일치도를 높임.
• 인간 평가 결과, 체계적 입력이 없는 모델은 종종 더 유용하지도 않고, 더 배려심이 없으며, 더 기계적으로 느껴지며, GPT-4는 제약 없는 설정에서 '배려심' 차원에서 -0.04 점수를 기록함.
• 최고 성능을 보인 모델(GPT-4 with e,z)은 ROUGE-L 점수 0.16과 BLEU 점수 0.02를 기록하여 중간 정도의 유창성과 관련성을 보였지만, 전문 강사의 ROUGE-L 0.91에 못 미침.

Figure 2: An example of how the tutor, a math teacher and gpt-4 models remediate this student’s mistake. The error used here is guess , and the strategy and intention are to “Provide a solution strategy” and “Help student understand the lessons topic or solution strategy.”