[논문 리뷰] Authoring Worked Examples for Java Programming with Human-AI Collaboration

Mohammad Hassany, Peter Brusilovsky외 3명|arXiv (Cornell University)|2023. 12. 04.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(예: ChatGPT)을 사용하여 Java 작업 예제의 각 줄에 대해 자동으로 설명을 생성하고, 교사가 이를 편집할 수 있도록 하는 인간-AI 협업 저작 시스템을 제시한다. 사용자 연구 결과, 참가자의 53.93%가 AI가 생성한 설명을 전문가가 작성한 설명보다 더 좋거나 동등하게 평가하였으며, 이는 프로그래밍 교육에서 AI 보조 예제 저작의 가능성과 품질을 입증한다.

ABSTRACT

Worked examples (solutions to typical programming problems presented as a source code in a certain language and are used to explain the topics from a programming class) are among the most popular types of learning content in programming classes. Most approaches and tools for presenting these examples to students are based on line-by-line explanations of the example code. However, instructors rarely have time to provide line-by-line explanations for a large number of examples typically used in a programming class. In this paper, we explore and assess a human-AI collaboration approach to authoring worked examples for Java programming. We introduce an authoring system for creating Java worked examples that generates a starting version of code explanations and presents it to the instructor to edit if necessary. We also present a study that assesses the quality of explanations created with this approach.

연구 동기 및 목표

• 교육 현장에서 강사들이 코드 예제에 대해 세부적인 줄 단위 설명을 작성할 시간이 부족한 저작 블로킹 문제를 해결하기 위해.
• 대규모 언어 모델(Large Language Models, LLMs)이 Java 코드 예제에 대해 교육적으로 유용한 높은 품질의 설명을 생성할 수 있는지 탐색하기 위해.
• TAs와 학생들을 대상으로 한 사용자 연구를 통해 AI가 생성한 설명의 품질을 전문가가 작성한 설명과 비교하기 위해.
• 교육적 목적을 위해 상호작용 가능한 설명이 첨부된 프로그래밍 예제를 저작하는 데 있어 인간-AI 협업의 실현 가능성과 효과성을 평가하기 위해.
• 강사들이 효율적으로 고품질의 상호작용 가능한 학습 콘텐츠를 제작할 수 있도록 지원하는 저작 도구의 향후 설계를 안내하기 위해.

제안 방법

• Java 코드 예제와 문제 기술서를 입력으로 받아, 사전 훈련된 LLM(예: ChatGPT)을 사용해 줄 단위 설명을 생성하는 저작 시스템을 개발하였다.
• 시스템은 AI가 생성한 설명을 강사가 검토하고 편집할 수 있도록 제공하여 저작 과정에서 인간과 AI의 협업을 가능하게 하였다.
• 기존의 예제 탐색 도구(예: WebEx 또는 PCEX)에 통합할 수 있는 재사용 가능한 형식으로 예제를 내보내는 기능을 지원하였다.
• 15명의 TAs와 학생을 대상으로 사용자 연구를 실시하여, AI가 생성한 설명과 전문가가 작성한 설명의 완전성과 품질을 3점 척도로 비교하였다.
• 설명은 3점 척도(‘AI가 더 좋음’, ‘전문가가 더 좋음’, 또는 ‘동등함’)로 평가되었으며, 참가자 간 평가 결과를 집계하였다.
• 일관된 프롬프트를 모든 예제에 동일하게 적용하여 일반화 능력을 평가하였지만, 향후 연구에서는 난이도에 맞는 프롬프트를 탐색할 수 있다.

실험 결과

연구 질문

• RQ1 LLM은 인간 평가자들이 교육적으로 충분하고 정확하다고 여길 수 있는 Java 예제의 줄 단위 코드 설명을 생성할 수 있는가?
• RQ2 완전성과 명확성 측면에서 AI가 생성한 설명의 품질은 전문가가 작성한 설명과 비교해 어떻게 되는가?
• RQ3 인간-AI 협업 저작 워크플로우에서 강사와 교육조교(TAs)가 AI가 생성한 설명의 가치를 어떻게 평가하는가?
• RQ4 평가자들이 AI가 생성한 설명을 전문가가 작성한 설명보다 얼마나 선호하는가? 이러한 선호도에 영향을 주는 요인은 무엇인가?
• RQ5 프롬프트 및 사용자 인터페이스의 설계는 강사가 AI가 생성한 설명을 효과적으로 편집하고 개선하는의를 어떻게 지원할 수 있는가?

주요 결과

• 평가자 중 53.93%가 AI가 생성한 설명을 전문가가 작성한 설명보다 더 좋거나 동등하게 평가하여, 높은 수준의 인식된 품질을 확인하였다.
• 평균적으로 AI가 생성한 설명은 3점 완전성 척도에서 1.867점(0 = 동일, 1 = 전문가가 더 좋음, 2 = AI가 더 좋음)을 기록한 반면, 전문가가 작성한 설명은 1.400점으로, 통계적으로 유리한 AI 출력 선호도가 확인되었다.
• 학생들은 51.11%의 경우에 AI 설명을 더 좋거나 동등하게 평가하였고, TAs와 저자들은 각각 58.15%와 57.78%로 더 높은 선호도를 보였다.
• 전반적인 긍정적인 반응에도 불구하고, 6.96%의 평가자가 AI 설명이 부족하다고 평가하였고, 전문가 설명의 14.07%가 부족하다고 평가되어 향후 개선 여지가 있음을 시사했다.
• 연구에서 전문가와 AI 모두 특정 라인을 설명하지 않는 선택을 할 수 있었지만, 이러한 결정 과정은 평가되지 않았으며, 언제 설명을 하거나 생략할지를 연구할 필요가 있음을 시사한다.
• 연구의 표본 크기가 작고(15명), 예제 수도 제한적(8개)이므로 결과는 주의 깊게 해석되어야 하며, 일반화를 위해 대규모 연구가 필요하다.