[논문 리뷰] Evaluating Language Models for Generating and Judging Programming Feedback

Charles Koutcheme, Nicola Dainese외 5명|arXiv (Cornell University)|2024. 07. 05.

Software Engineering Techniques and Practices인용 수 4

한 줄 요약

이 연구는 파이썬 과제에 대한 프로그래밍 피드백 생성 및 평가를 위해 오픈소스 대규모 언어 모델(Large Language Models, LLMs)을 평가하며, GPT-4o와 같은 전문 모델과 비교한다. 결과적으로 최신 오픈소스 모델인 Llama3-70B가 피드백 생성 및 품질 평가 모두에서 전문 모델과 거의 동일한 성능을 보이며, 비용 효율적이고 투명하며 접근 가능한 교육 도구로서의 강력한 잠재력을 보여주었다.

ABSTRACT

The emergence of large language models (LLMs) has transformed research and practice across a wide range of domains. Within the computing education research (CER) domain, LLMs have garnered significant attention, particularly in the context of learning programming. Much of the work on LLMs in CER, however, has focused on applying and evaluating proprietary models. In this article, we evaluate the efficiency of open-source LLMs in generating high-quality feedback for programming assignments and judging the quality of programming feedback, contrasting the results with proprietary models. Our evaluations on a dataset of students' submissions to introductory Python programming exercises suggest that state-of-the-art open-source LLMs are nearly on par with proprietary models in both generating and assessing programming feedback. Additionally, we demonstrate the efficiency of smaller LLMs in these tasks and highlight the wide range of LLMs accessible, even for free, to educators and practitioners.

연구 동기 및 목표

• 초보자 대상 파이썬 프로그래밍 과제에 대해 오픈소스 LLMs가 생성한 피드백의 품질을 평가하는 것.
• 오픽소스 LLMs가 인간 전문가 수준의 판단과 비교해 프로그래밍 피드백의 품질을 효과적으로 평가할 수 있는지 평가하는 것.
• 피드백 생성 및 평가 작업에서 오픈소스 및 전문 LLMs의 성능을 비교하는 것.
• 더 작은, 자유롭게 이용 가능한 LLMs가 교육용 피드백 응용 프로그램에 적합한지 탐색하는 것.
• 오픈소스 LLMs를 전문 모델 대체로 권장함으로써 계산 교육 분야에서 투명성, 비용 효율성, 데이터 프라이버시를 향상시키는 것.

제안 방법

• 최신 오픈소스 LLMs 다섯 종류와 전문 모델 두 종류(GPT-4o 포함)를 활용해 버그 설명과 수정 제안을 생성하였다.
• 완전성, 이해 가능성, 수정 정확도에 중점을 둔 맞춤형 평가 척도를 사용해 피드백 품질을 수동 평가하였다.
• 모델의 피드백 품질 평가 성능 평가를 위해 전문가가 애너테이션한 기준 레이블을 사용하였다.
• 모델 접근을 위해 EasyLLM 라이브러리와 HuggingFace API를 활용하였으며, 대부분의 모델에 대해 최소 비용으로 구현하였다.
• 두 명의 애너테이터를 활용해 평가자 간 일致도를 점검하였으며, Krippendorff’s alpha 값이 0.49로 중간 수준의 일致도를 보였다.
• Phi-3-mini, Mistral-7B, Llama3-70B 등 다양한 크기의 LLM을 대상으로 평가하여 확장성과 효율성 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 RQ1: 학생의 프로그래밍 제출물에 대해 오픈소스 및 전문 모델이 높은 품질의 버그 설명과 수정 방법을 얼마나 잘 생성하는가?
• RQ2 RQ2: 오픈소스 및 전문 모델이 인간 전문가의 판단과 비교해 프로그래밍 피드백의 품질을 얼마나 정확하게 평가할 수 있는가?
• RQ3 RQ3: 더 작은, 자유롭게 이용 가능한 LLMs는 더 큰 모델에 비해 피드백 생성 및 평가 작업에서 얼마나 잘 수행되는가?
• RQ4 RQ4: 교육용 피드백 시스템에서 오픈소스 모델과 전문 모델을 사용할 경우 성능, 비용, 데이터 프라이버시 측면에서의 상호 교환 관계는 어떠한가?

주요 결과

• 최신 오픈소스 LLM인 Llama3-70B는 피드백 생성 및 평가 작업에서 GPT-4o와 동등한 성능을 보였다.
• Phi-3-mini와 같은 더 작은 오픈소스 모델은 제한된 컴퓨팅 자원에도 불구하고 경쟁력 있는 성능을 보이며, 소비자 기기에서의 구현 가능성에 유리함을 시사했다.
• 인간 애너테이션의 평가자 간 일치도는 중간 수준(Krippendorff’s alpha = 0.49)이었으며, 애너테이션 일관성 향상 여전히 필요함을 시사했다.
• 오픈소스 LLMs는 LLM-판정자로서 강력한 잠재력을 보이며, 피드백 평가에서 GPT-4o와 유사한 성능을 보여, 반복적인 피드백 개선을 가능하게 했다.
• 연구 결과, 모델 크기와 성능 간 직접적인 상관관계는 없었으며, Phi-3-mini와 같은 작은 모델이 예상보다 뛰어난 성능을 보였다.
• 저자들은 재현 가능성과 향후 LLM-교육 분야의 벤치마킹을 지원하기 위해 코드, 모델 출력물, 애너테이션을 공개하였다.