[논문 리뷰] Towards an optimised evaluation of teachers' discourse: The case of engaging messages

Samuel Falcón, Jaime León|arXiv (Cornell University)|2024. 12. 18.

Discourse Analysis in Language Studies인용 수 5

한 줄 요약

이 논문은 실제 수업 녹취를 통해 두 개의 대형 언어 모델을 훈련시켜 참여 메시지를 식별하고 분류하는 방법을 제시하며, 높은 민감도와 특이도를 달성하고 메시지 유형이 학년 및 연도에 따라 어떻게 달라지는지 분석한다.

ABSTRACT

Evaluating teachers' skills is crucial for enhancing education quality and student outcomes. Teacher discourse, significantly influencing student performance, is a key component. However, coding this discourse can be laborious. This study addresses this issue by introducing a new methodology for optimising the assessment of teacher discourse. The research consisted of two studies, both within the framework of engaging messages used by secondary education teachers. The first study involved training two large language models on real-world examples from audio-recorded lessons over two academic years to identify and classify the engaging messages from the lessons' transcripts. This resulted in sensitivities of 84.31% and 91.11%, and specificities of 97.69% and 86.36% in identification and classification, respectively. The second study applied these models to transcripts of audio-recorded lessons from a third academic year to examine the frequency and distribution of message types by educational level and moment of the academic year. Results showed teachers predominantly use messages emphasising engagement benefits, linked to improved outcomes, while one-third highlighted non-engagement disadvantages, associated with increased anxiety. The use of engaging messages declined in Grade 12 and towards the academic year's end. These findings suggest potential interventions to optimise engaging message use, enhancing teaching quality and student outcomes.

연구 동기 및 목표

• 교사의 담화 평가 효율성을 높이고 코딩 작업을 줄인다.
• 수업 녹취에서 engaging 메시지를 식별하고 분류하는 방법론을 개발한다.
• 여러 학년에 걸친 실제 오디오 녹음 수업 데이터를 사용하여 방법을 검증한다.

제안 방법

• 두 학년에 걸친 실제 오디오 수업의 기록에서 얻은 전사 데이터를 이용하여 두 개의 대형 언어 모델을 학습시켜 참여 메시지를 식별한다.
• 식별 및 분류에서의 모델 성능을 보고된 민감도와 특이도로 측정한다.
• 학년의 교육 수준과 학년 연중 시점에 따른 메시지 유형의 빈도와 분포를 분석하기 위해 세 번째 학년의 전사 데이터에 학습된 모델을 적용한다.

실험 결과

연구 질문

• RQ1 대형 언어 모델이 수업 전사에서 교사의 담화 속 참여 메시지를 정확하게 식별할 수 있는가?
• RQ2 참여 메시지 식별 및 분류에서 모델의 민감도와 특이도는 어떠한가?
• RQ3 교육 수준에 따라, 그리고 학년의 연중 시점에 따라 참여 메시지 유형은 어떻게 달라합니까?

주요 결과

• 첫 번째 연구는 식별에서 84.31%의 민감도, 분류에서 91.11%의 민감도를 달성했고, 각각 특이도는 97.69%와 86.36%였다.
• 참여의 이점에 초점을 맞추고 향상된 결과와 연관된 참여 메시지가 널리 나타났다.
• 메시지의 약 3분의 1은 증가된 불안과 관련된 비참여의 단점을 강조했다.
• 세 번째 연도 데이터에서 참여 메시지는 학년 12에서 감소했으며 학년 말에 더 줄었다.