[논문 리뷰] Smart tutor to provide feedback in programming courses

David Roldán‐Álvarez|arXiv (Cornell University)|2023. 01. 24.

E-Learning and Knowledge ManagementComputer Science인용 수 3

한 줄 요약

이 논문은 자연어 처리를 활용해 학생들의 코딩 질문을 이해하고 실시간으로 개인화된 피드백을 제공하는 AI 기반 지능형 튜터를 제안한다. 이 시스템은 URJC에서 전 과정 동안 테스트되었으며, 정확한 답변과 예시를 제공하는 데 효과적이었고, 학생들은 이를 사용하기 쉽게 느꼈으며 향후 다른 과목에서도 유용할 수 있을 것으로 평가했다.

ABSTRACT

Artificial Intelligence (AI) is becoming more and more popular as time passes, allowing to perform tasks that were difficult to do in the past. From predictions to customization, AI is being used in many areas, not being educational environments outside this situation. AI is being used in educational settings to customize contents or to provide personalized feedback to the students, among others. In this scenario, AI in programming teaching is something that still has to be explored, since in this area we usually find assessment tools that allow grading the students work, but we can not find many tools aimed towards providing feedback to the students in the process of creating their program. In this work we present an AI based intelligent tutor that answers students programming questions. The tool has been tested by university students at the URJC along a whole course. Even if the tool is still in its preliminary phase, it helped the students with their questions, providing accurate answers and examples. The students were able to use the intelligent tutor easily and they thought that it could be a useful tool to use in other courses.

연구 동기 및 목표

• 자동 평가를 넘어서 프로그래밍 개발 과정 중 형성적 피드백을 제공하는 AI 도구의 부족을 해결하기 위해.
• 학생들의 프로그래밍 질문을 이해하고 정확하며 맥락 인식된 응답을 제공하는 지능형 튜터를 설계하기 위해.
• 실제 대학 프로그래밍 과정 환경에서 튜터의 사용성과 실질적 유용성을 평가하기 위해.
• 즉각적이고 예제 기반 피드백을 제공함으로써 AI가 학생 학습 향상에 어떻게 기여할 수 있는지 탐색하기 위해.

제안 방법

• 시스템은 학생들이 코드에 대해 제기하는 텍스트 질문을 이해하기 위해 자연어 처리(NLP) 기법을 활용한다.
• 공통적인 프로그래밍 오류와 개념에 맞춰 사전에 구성된 지식 기반에서 관련된 피드백과 코드 예제를 검색한다.
• 학생의 질문을 지식 기반 내의 사전 정의된 패턴과 솔루션과 매칭시켜 응답을 생성한다.
• 이 도구는 URJC의 대학 프로그래밍 과정에 전학기 동안 통합되어 구현 및 평가되었다.
• 학생의 상호작용 기록을 통해 응답 정확도와 사용자 경험을 평가했다.
• 학생의 인식과 시스템의 질문 응답 성능을 바탕으로 피드백을 평가했다.

실험 결과

연구 질문

• RQ1 AI 기반 튜터는 학생들이 자신의 프로그래밍 코드에 대해 제기하는 자연어 질문을 효과적으로 이해하고 응답할 수 있는가?
• RQ2 실제 과정 환경에서 학생들은 지능형 튜터의 사용성과 유용성에 대해 어떻게 평가하는가?
• RQ3 튜터는 얼마나 빠르고 정확한 피드백을 통해 학생 학습을 향상시키는가?
• RQ4 이러한 시스템은 대학 수준의 프로그래밍 교육에서 실제로 구현되고 도입될 수 있는가?

주요 결과

• 지능형 튜터는 전 과정 동안 학생들의 프로그래밍 질문에 정확하고 관련성이 높은 피드백을 성공적으로 제공했다.
• 학생들은 도구가 사용하기 쉽고 향후 과목에서 유용한 보조 도구로 인식했다.
• 시스템은 학생들의 이해를 지원하는 예제 기반 응답을 제공하는 데 가능성을 입증했다.
• 비록 초창기 단계에 머물러 있지만, 이 도구는 프로그래밍 교육에서 형성적 피드백을 향상시키는 데 잠재력을 보였다.