[논문 리뷰] Efficient Classification of Student Help Requests in Programming Courses Using Large Language Models

Jaromír Šavelka, Paul Denny외 2명|arXiv (Cornell University)|2023. 10. 31.

Topic Modeling인용 수 4

한 줄 요약

이 연구는 프로그래밍 과정에서 학생의 도움 요청을 zero-shot 및 파인튜닝한 분류 작업을 위해 GPT-3.5와 GPT-4를 평가하며, 최소한의 레이블된 데이터로 GPT-3.5를 파인튜닝하면 인간 수준의 정확도를 달성함을 보여주어, 낮은 비용과 높은 통합 가능성으로 인해 확장 가능하고 개인화된 교육 보조 시스템을 구축할 수 있음을 시사한다.

ABSTRACT

The accurate classification of student help requests with respect to the type of help being sought can enable the tailoring of effective responses. Automatically classifying such requests is non-trivial, but large language models (LLMs) appear to offer an accessible, cost-effective solution. This study evaluates the performance of the GPT-3.5 and GPT-4 models for classifying help requests from students in an introductory programming class. In zero-shot trials, GPT-3.5 and GPT-4 exhibited comparable performance on most categories, while GPT-4 outperformed GPT-3.5 in classifying sub-categories for requests related to debugging. Fine-tuning the GPT-3.5 model improved its performance to such an extent that it approximated the accuracy and consistency across categories observed between two human raters. Overall, this study demonstrates the feasibility of using LLMs to enhance educational systems through the automated classification of student needs.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)을 사용해 프로그래밍 과정에서의 학생 도움 요청을 광범위한 레이블된 데이터 없이 분류하는 것이 가능한지 평가하는 것.
• GPT-3.5와 GPT-4의 zero-shot 성능을 학생 질문의 사전 정의된 분류 카테고리에 대해 평가하는 것.
• 소량의 레이블된 데이터로 GPT-3.5를 파인튜닝하면 분류 정확도와 일관성이 향상되는지 조사하는 것.
• 실시간 질의 분류를 위한 교육 시스템에 LLM을 구현할 때의 비용 효율성과 실용적 타당성을 결정하는 것.
• 자동화된 분류가 개인화된 응답 제공 및 교사에게 실질적인 통찰을 제공하는 데 어떻게 기여할 수 있는지 탐색하는 것.

제안 방법

• 인간 평가자 코드 가이드라인에서 유도된 프롬프트 지침을 사용해 API를 통해 GPT-3.5와 GPT-4를 활용해 zero-shot 분류를 수행했다.
• 분류 성능 향상을 위해 100개의 레이블된 학생 요청 데이터셋으로 GPT-3.5를 파인튜닝했다.
• 모델의 설명을 방지하고 직접적인 분류 출력을 보장하기 위해 프롬프트 엔지니어링을 적용했다.
• 표준 평가 지표인 F1 점수와 Cohens' kappa를 사용해 모델 성능을 인간 평가자와 비교했다.
• zero-shot 및 파인튜닝된 배포 환경 모두에서 토큰 기반 가격 모델을 활용해 추론 비용을 평가했다.
• 분류 결과가 교육 보조 시스템 내에서 맞춤형 응답 생성 또는 사용자 인터페이스 프롬프트에 어떻게 활용될 수 있는지 설계된 파이프라인을 구축했다.

Figure 2: Confusion matrices of GPT-3.5 and GPT-4 classification output in zero-shot settings and when fine-tuned on 423 student help requests (refer to Table 1 for codes).

실험 결과

연구 질문

• RQ1 RQ1: 인간 평가자를 위한 원래 설계된 코딩 지침을 기반으로 GPT-3.5와 GPT-4가 학생 도움 요청을 zero-shot으로 얼마나 정확하게 분류할 수 있는가?
• RQ2 RQ2: 제한된 양의 데이터로 파인튜닝을 통해 분류 성능을 어느 정도 향상시킬 수 있는가?
• RQ3 RQ3: 파인튜닝된 GPT-3.5의 성능은 인간 평가자 간의 정확도와 일관성 측면에서 어떤가?
• RQ4 RQ4: 교육 현장에서 실시간 질의 분류를 위해 zero-shot 및 파인튜닝된 LLM을 구현할 경우 비용에 어떤 영향을 미치는가?

주요 결과

• 디버깅 관련 서브카테고리에 대해 GPT-4가 GPT-3.5보다 더 뛰어난 성능을 보였지만, 대부분의 주요 카테고리에서는 두 모델 간 성능이 유사했다.
• 단지 100개의 레이블된 예시로 파인튜닝한 GPT-3.5는 인간 평가자 간 관찰된 정확도와 상호 평가자 일관성 수준에 도달했다.
• 학기 동안 2,591건의 학생 요청을 분류하기 위해 파인튜닝된 GPT-3.5를 사용할 경우 비용은 30달러 미만이었으며, GPT-4는 80달러, zero-shot GPT-3.5는 4달러 미만이었다.
• zero-shot GPT-3.5와 GPT-4는 레이블된 데이터 없이도 합리적인 분류 정확도를 달성했으며, 이는 교육용 질의 분류에 대해 강력한 zero-shot 일반화 능력을 지닌다는 것을 시사한다.
• 이 연구는 LLM이 최소한의 데이터와 인프라로도 분류 작업을 자동화할 수 있음을 입증하며, 확장 가능하고 개인화된 교육 보조 시스템을 구축할 수 있음을 보여준다.
• 파인튜닝된 LLM은 챗봇이 맥락 인식 응답을 제공하도록 이끌 수 있으며, 집계된 질의 패턴 분석을 통해 교사가 문제를 일으키는 학생 행동을 조기에 탐지하는 데 도움을 줄 수 있다.

Figure 3: The comparison of GPT-4 and GPT-3.5 performance compared to random forest and RoBERTa base when trained/fine-tuned on progressively larder pool of data points up to 423.