[论文解读] Efficient Classification of Student Help Requests in Programming Courses Using Large Language Models

Jaromír Šavelka, Paul Denny+2 more|arXiv (Cornell University)|Oct 31, 2023

Topic Modeling被引用 4

一句话总结

本研究评估了GPT-3.5和GPT-4在编程课程学生求助请求的零样本与微调分类中的表现，结果表明，仅用少量标注数据对GPT-3.5进行微调即可达到人类水平的准确率，从而实现低成本、高可行性、可扩展的个性化教育辅助，易于集成到学习系统中。

ABSTRACT

The accurate classification of student help requests with respect to the type of help being sought can enable the tailoring of effective responses. Automatically classifying such requests is non-trivial, but large language models (LLMs) appear to offer an accessible, cost-effective solution. This study evaluates the performance of the GPT-3.5 and GPT-4 models for classifying help requests from students in an introductory programming class. In zero-shot trials, GPT-3.5 and GPT-4 exhibited comparable performance on most categories, while GPT-4 outperformed GPT-3.5 in classifying sub-categories for requests related to debugging. Fine-tuning the GPT-3.5 model improved its performance to such an extent that it approximated the accuracy and consistency across categories observed between two human raters. Overall, this study demonstrates the feasibility of using LLMs to enhance educational systems through the automated classification of student needs.

研究动机与目标

• 评估在无需大量标注数据的情况下，使用大型语言模型（LLMs）对编程课程中的学生求助请求进行分类的可行性。
• 评估GPT-3.5和GPT-4在预定义分类类别上对学生查询进行零样本分类的性能。
• 探究使用少量标注数据对GPT-3.5进行微调是否能提升分类准确率与一致性。
• 确定在教育系统中实时查询分类场景下部署LLMs的成本效益与实际可行性。
• 探索自动化分类如何提升个性化响应质量，并为教师提供可操作的洞察。

提出的方法

• 通过API使用GPT-3.5和GPT-4，基于源自人工评分员编码指南的提示指令进行零样本分类。
• 在仅100个标注的学生请求小数据集上对GPT-3.5进行微调，以提升分类性能。
• 采用提示工程策略，防止模型生成解释性内容，确保输出为直接分类结果。
• 使用F1分数和Cohen’s kappa等标准指标，将模型性能与人工评分员进行对比。
• 基于基于token的定价模型，评估零样本与微调部署场景下的推理成本。
• 设计了一条处理管道，使分类结果可驱动教育助手系统中的定制化响应生成或用户界面提示。

Figure 2: Confusion matrices of GPT-3.5 and GPT-4 classification output in zero-shot settings and when fine-tuned on 423 student help requests (refer to Table 1 for codes).

实验结果

研究问题

• RQ1 RQ1：基于原本为人工评分员设计的编码指令，GPT-3.5和GPT-4在零样本分类学生求助请求方面能达到多高的准确率？
• RQ2 RQ2：在有限数据量下，通过微调能将分类性能提升到何种程度？
• RQ3 RQ3：微调后的GPT-3.5在各类别中的准确率与一致性，与两名人工评分员之间的表现相比如何？
• RQ4 RQ4：在教育环境中实时查询分类场景下，部署零样本与微调LLMs的成本影响是什么？

主要发现

• 在与调试相关的子类别中，GPT-4的零样本分类表现优于GPT-3.5，而在大多数主类别中，两模型表现相当。
• 仅用100个标注样本对GPT-3.5进行微调，即可使其性能达到与两名人工评分员之间观察到的准确率与评分一致性水平相当。
• 在一整个学期内分类2,591份学生请求时，使用微调后的GPT-3.5模型的成本不足30美元，而GPT-4的成本为80美元，零样本GPT-3.5的成本则低于4美元。
• 零样本GPT-3.5和GPT-4在无需任何标注数据的情况下即实现了合理的分类准确率，表明其在教育类查询分类任务中具备强大的零样本泛化能力。
• 本研究证明，LLMs仅需极少数据与基础设施即可自动化分类任务，从而实现可扩展、个性化的教育辅助系统。
• 微调后的LLMs可引导聊天机器人生成上下文感知的响应，并通过聚合查询模式分析，帮助教师识别学生潜在的异常行为。

Figure 3: The comparison of GPT-4 and GPT-3.5 performance compared to random forest and RoBERTa base when trained/fine-tuned on progressively larder pool of data points up to 423.