[论文解读] Automated Evaluation of Classroom Instructional Support with LLMs and BoWs: Connecting Global Predictions to Specific Feedback

Jacob Whitehill, Jennifer LoCasale‐Crouch|arXiv (Cornell University)|Oct 2, 2023

Natural Language Processing TechniquesComputer Science被引用 3

一句话总结

本文提出了一种零样本提示的大型语言模型（LLM）与词袋（BoW）方法，用于从教师口语转录文本中自动估算CLASS教学支持评分，实现了与人类评分者间一致性（R最高达0.55）相当的全局预测准确率（皮尔逊相关系数R最高达0.47），同时通过模型可解释性实现了可解释的、逐语句的反馈。

ABSTRACT

With the aim to provide teachers with more specific, frequent, and actionable feedback about their teaching, we explore how Large Language Models (LLMs) can be used to estimate ``Instructional Support'' domain scores of the CLassroom Assessment Scoring System (CLASS), a widely used observation protocol. We design a machine learning architecture that uses either zero-shot prompting of Meta's Llama2, and/or a classic Bag of Words (BoW) model, to classify individual utterances of teachers' speech (transcribed automatically using OpenAI's Whisper) for the presence of Instructional Support. Then, these utterance-level judgments are aggregated over a 15-min observation session to estimate a global CLASS score. Experiments on two CLASS-coded datasets of toddler and pre-kindergarten classrooms indicate that (1) automatic CLASS Instructional Support estimation accuracy using the proposed method (Pearson $R$ up to $0.48$) approaches human inter-rater reliability (up to $R=0.55$); (2) LLMs generally yield slightly greater accuracy than BoW for this task, though the best models often combined features extracted from both LLM and BoW; and (3) for classifying individual utterances, there is still room for improvement of automated methods compared to human-level judgments. Finally, (4) we illustrate how the model's outputs can be visualized at the utterance level to provide teachers with explainable feedback on which utterances were most positively or negatively correlated with specific CLASS dimensions.

研究动机与目标

• 开发一种自动化的、可扩展的方法，通过教师口语转录文本估算CLASS教学支持评分。
• 比较零样本提示的大型语言模型（LLM）与传统词袋（BoW）模型在课堂话语分析中的性能表现。
• 通过将全局CLASS评分与单个语句关联，为教师提供具体且可操作的反馈。
• 在语句层面可视化模型预测结果，以增强可解释性并促进教师参与。
• 评估自动化系统在课堂观察评分中接近人类评分者间一致性的能力。

提出的方法

• 使用OpenAI的Whisper对课堂录音进行转录，获取教师语句的文本转录本。
• 对Meta的Llama2 LLM应用零样本提示，以分类每个语句中是否包含教学支持指标（例如，支架式教学、开放性问题）。
• 在相同语句上训练传统的词袋（BoW）模型，以预测教学支持的出现情况。
• 将15分钟会话中所有语句的预测结果聚合，以估算全局CLASS评分。
• 通过集成建模方法结合LLM与BoW特征，以提升预测准确率。
• 在语句层面可视化模型注意力机制与预测置信度，以突出显示对教学行为有显著影响的语句。

实验结果

研究问题

• RQ1 零样本提示的LLM能否实现与人工标注评分高度相关的全局CLASS教学支持评分预测？
• RQ2 LLM分类在语句层面预测教学支持的表现，与传统BoW模型相比如何？
• RQ3 LLM与BoW特征的融合能否在全局评分估计上超越单一方法的表现？
• RQ4 自动化模型在多大程度上能够基于单个语句提供可解释的、时间定位明确的反馈？
• RQ5 自动化系统在估算CLASS评分时，能多接近人类评分者间的一致性？

主要发现

• 所提出的方法在自动化评分与人工标注的CLASS教学支持评分之间实现了最高R = 0.47的皮尔逊相关系数，接近人类评分者间的一致性（R = 0.55）。
• LLM在语句层面分类中表现略优于BoW模型，但表现最佳的模型结合了两种方法的特征。
• 模型的语句层面预测结果成功可视化，突出了与全局评分正相关或负相关程度最高的教师语句。
• 使用Llama2进行零样本提示的预测结果在全局评分上比微调或自动提示工程更准确，后者仅产生中位数输出。
• 尽管已有进展，自动化方法在语句层面的判断准确率仍不及人类水平，表明仍有改进空间。
• LLM与BoW特征的融合提升了全局评分估计效果，表明二者在语义理解与词汇模式检测方面具有互补优势。