[논문 리뷰] CodeHelp: Using Large Language Models with Guardrails for Scalable Support in Programming Classes

Mark Liffiton, Brad E. Sheese외 2명|arXiv (Cornell University)|2023. 08. 14.

Software Engineering Research인용 수 9

한 줄 요약

CodeHelp는 guardrails를 갖춘 LLM 기반 튜터링 도구로, 확장 가능한 규모의 필요 시 프로그래밍 도움을 제공하며 52-student, 12-week 첫 해 과정에서 평가되었습니다. 교육자의 지원을 보완하는 데 긍정적으로 받아들여졌습니다.

ABSTRACT

Computing educators face significant challenges in providing timely support to students, especially in large class settings. Large language models (LLMs) have emerged recently and show great promise for providing on-demand help at a large scale, but there are concerns that students may over-rely on the outputs produced by these models. In this paper, we introduce CodeHelp, a novel LLM-powered tool designed with guardrails to provide on-demand assistance to programming students without directly revealing solutions. We detail the design of the tool, which incorporates a number of useful features for instructors, and elaborate on the pipeline of prompting strategies we use to ensure generated outputs are suitable for students. To evaluate CodeHelp, we deployed it in a first-year computer and data science course with 52 students and collected student interactions over a 12-week period. We examine students' usage patterns and perceptions of the tool, and we report reflections from the course instructor and a series of recommendations for classroom use. Our findings suggest that CodeHelp is well-received by students who especially value its availability and help with resolving errors, and that for instructors it is easy to deploy and complements, rather than replaces, the support that they provide to students.

연구 동기 및 목표

• 대규모 수업에서 시의적절한 프로그래밍 지원 제공의 확장성 문제를 다룬다.
• 직접 해결 방법 노출을 방지하고 학습으로 이끄는 가드레일을 설계한다.
• CodeHelp의 학생 참여를 관찰, 관리 및 평가할 수 있는 교사용 기능을 제공한다.
• 교실 배치를 시연하고 학생 인식 및 사용 분석을 수집한다.

제안 방법

• 구조화된 도움 요청(언어, 코드, 오류, 이슈)에 대한 간단한 학생 인터페이스를 갖춘 웹 기반 도구를 개발한다.
• 충분성 체크, 주요 응답, 코드 제거를 포함하는 다중 프롬프트 LLM 워크플로를 구현하여 안전하고 교육적인 출력을 생성한다.
• 충분성 체크에서 명확화가 필요한지 판단하기 위해 chain-of-thought 프롬팅을 사용한다.
• 주요 응답 두 가지를 생성하고 더 품질이 높은 것을 선택한 뒤 필요 시 코드 제거를 수행한다.
• LMS와의 LTI 연동으로 교사가 원활하게 접근하고 수업 구성을 구성할 수 있도록 한다(키워드 세트 회피).
• 사용 데이터 및 설문 응답을 수집하여 교실 영향과 학생 인식을 평가한다.

실험 결과

연구 질문

• RQ1 12주 간의 기초 프로그래밍 과정에서 학생들은 CodeHelp를 어떻게 사용하는가?
• RQ2 학생들이 제출하는 도움 요청의 종류와 CodeHelp의 응답은 어떠한가?
• RQ3 학생들은 CodeHelp의 유용성, 가용성 및 학습 가치를 어떻게 인식하는가?
• RQ4 CodeHelp가 강의교수의 업무량 및 교실 지원 역학에 어떤 영향을 미치는가?

주요 결과

• CodeHelp는 학생들에게 호응을 얻고 오류 해결에 도움을 주며, 대다수의 응답자는 가치가 있으며 향후 과정에서도 재사용 의향이 있다고 응답했다.
• 학기 동안 사용이 일관되게 유지되며 약 절반의 반이 매주 CodeHelp를 이용하고 상당한 하위집합이 다수의 질의를 제출했다.
• 대부분의 학생은 CodeHelp가 과제 완료에 도움이 되었다고 느꼈고(71% 동의, 9% 강력 동의), 강의 자료를 학습하는 데도 도움이 되었다고 느꼈다(56% 동의, 7% 강력 동의).
• 강사는 CodeHelp를 쉽게 배포할 수 있다고 느꼈고, 인적 지원의 대체가 아닌 보완으로 보았다.
• 도구는 수업 외에도 지속적으로 접근할 수 있게 하며, 질의와 응답을 모니터링하기 위한 교사용 뷰를 제공한다.