[논문 리뷰] Is ChatGPT a Good Teacher Coach? Measuring Zero-Shot Performance For Scoring and Providing Actionable Insights on Classroom Instruction

Rose E. Wang, Dorottya Demszky|arXiv (Cornell University)|2023. 06. 05.

Online Learning and Analytics인용 수 4

한 줄 요약

이 논문은 챗지피티의 제로샷 능력이 수업 평가 척도(클래스 및 MQI)를 사용해 수업 전사본을 평가하고, 지도적 강점과 기회를 식별하며, 학생의 사고를 이끌어내기 위한 실행 가능한 피드백을 생성하는 자동화된 교사 멘토로 기능할 수 있는지 평가한다. 관련성 있는 듯 보이지만, 챗지피티는 교사가 이미 시행하고 있는 조치(제안의 82%)를 자주 제안하며, 피드백이 통찰력이 부족하고 새로운 내용을 담고 있지 않아, 진정성 있고 독창적이며 교육학적으로 의미 있는 멘토링 피드백을 생성하는 데 있어 향상 여지가 크다는 것을 시사한다.

ABSTRACT

Coaching, which involves classroom observation and expert feedback, is a widespread and fundamental part of teacher training. However, the majority of teachers do not have access to consistent, high quality coaching due to limited resources and access to expertise. We explore whether generative AI could become a cost-effective complement to expert feedback by serving as an automated teacher coach. In doing so, we propose three teacher coaching tasks for generative AI: (A) scoring transcript segments based on classroom observation instruments, (B) identifying highlights and missed opportunities for good instructional strategies, and (C) providing actionable suggestions for eliciting more student reasoning. We recruit expert math teachers to evaluate the zero-shot performance of ChatGPT on each of these tasks for elementary math classroom transcripts. Our results reveal that ChatGPT generates responses that are relevant to improving instruction, but they are often not novel or insightful. For example, 82% of the model's suggestions point to places in the transcript where the teacher is already implementing that suggestion. Our work highlights the challenges of producing insightful, novel and truthful feedback for teachers while paving the way for future research to address these obstacles and improve the capacity of generative AI to coach teachers.

연구 동기 및 목표

• 생성형 AI가 챗지피티와 같은 기술이 전문 교사 멘토링의 스케일업 가능하고 비용 효율적인 대안이 될 수 있는지 조사하기 위해.
• 챗지피티의 제로샷 성능을 수업 멘토링의 핵심 세 가지 과제인 점수 매기기, 지도적 강점/결함 식별, 실행 가능한 피드백 생성에 대해 평가하기 위해.
• 모델이 생성한 피드백의 관련성, 충실도, 통찰력, 독창성을 전문가 인간 평가자 기준과 비교하여 평가하기 위해.
• 현실적인 수업 환경에서 고품질의 교육학적으로 의미 있는 멘토링 피드백을 제공하기 위해 현재의 대규모 언어 모델(LM)의 한계를 규명하기 위해.

제안 방법

• 초등 수학 수업 전사본을 CLASS 및 MQI 관찰 도구로 레이블링한 NCTE 데이터셋을 사용한다.
• 제로샷 프롬프팅을 활용해 챗지피티를 세 가지 과제에 대해 평가한다: (A) 척도 항목을 사용해 전사본 세그먼트를 평가하기, (B) 강점과 기회를 식별하기, (C) 학생의 사고를 이끌어내기 위한 제안 생성하기.
• 전문 수학 교사들이 모델 출력물의 품질을 관련성, 충실도, 통찰력, 실행 가능성 기준으로 평가하도록 수집한다.
• 관찰자 간 일致도를 평가하기 위해 관련성(0.23), 충실도(0.36), 통찰력(0.37)에 대해 가중 코헨의 카파를 계산한다.
• 모델이 예측한 점수와 인간 레이블링된 척도 점수를 비교하여 상관관계를 평가하며, 낮은 일致도를 발견한다.
• 제안이 전사본에 이미 포함된 행동을 참조하는지 분석하여 중복 여부를 점검한다.

Figure 1: Setup for the automated feedback task. Our work proposes three teacher coaching tasks. Task A is to score a transcript segment for items derived from classroom observation instruments; for instance, CLPC, CLBM, and CLINSTD are CLASS observation items, and EXPL, REMED, LANGIMP, SMQR are MQI

실험 결과

연구 질문

• RQ1 챗지피티는 기존 관찰 도구를 사용해 제로샷 프롬프팅을 통해 수업 지도의 정확하고 신뢰할 수 있는 점수를 매길 수 있는가?
• RQ2 챗지피티는 전문가 인간 평가자와 비교해 수업 전사본의 지도적 강점과 기회를 얼마나 잘 식별하는가?
• RQ3 챗지피티의 학생 사고를 향상시키기 위한 제안은 얼마나 독창적이고 실행 가능하며 전사본에 충실한가?
• RQ4 챗지피티의 피드백 제안 중 교사가 이미 전사본에서 시행하고 있는 행동을 묘사하는 비율은 얼마나 되는가?
• RQ5 인간 평가자 간 AI가 생성한 멘토링 피드백의 품질에 대한 일치도는 어느 정도인가?

주요 결과

• 챗지피티의 예측 점수는 척도 항목 전반에서 인간 레이블링 점수와 낮은 상관관계를 보였으며, 척도 설명과 추론 프롬프트를 제공한 경우에도 마찬가지였다.
• Task B(강점과 기회 식별)에 대한 챗지피티의 50~70%의 응답이 전문가 평가자에 의해 통찰력이 없다고 평가되었다.
• Task B의 35~50%의 응답이 프롬프트나 전사본 내용과 관련이 없다고 평가되었다.
• Task C에서 생성된 제안의 82%가 이미 전사본에서 교사가 시행하고 있는 조치를 묘사하여 높은 중복성을 보였다.
• 인간 평가자 간 일치도는 중간 수준이었으며, 관련성에 대해 가중 코헨의 카파가 0.23, 충실도가 0.36, 통찰력이 0.37였다.
• 낮은 관찰자 간 일치도에도 불구하고, 모델 출력물은 통찰력보다는 관련성과 실행 가능성에서 더 높게 평가되었으며, 이는 새로운 통찰력 있고 교육학적으로 풍부한 피드백을 생성하는 데 향상이 필요하다는 것을 시사한다.

((a))