[논문 리뷰] The Widening Gap: The Benefits and Harms of Generative AI for Novice Programmers

James Prather, Brent N. Reeves외 7명|arXiv (Cornell University)|2024. 05. 28.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

본 연구는 GenAI 도구를 추가하여 이전의 초보자 프로그래밍 메타인지 연구를 재현하고, GenAI가 초보자에게 도움을 줄 수도 있지만 방해할 수도 있음을 발견했으며, 새로운 메타인지적 어려움과 고성과/저성과 학생 간의 디지털 격차가 확대되고 있다.

ABSTRACT

Novice programmers often struggle through programming problem solving due to a lack of metacognitive awareness and strategies. Previous research has shown that novices can encounter multiple metacognitive difficulties while programming. Novices are typically unaware of how these difficulties are hindering their progress. Meanwhile, many novices are now programming with generative AI (GenAI), which can provide complete solutions to most introductory programming problems, code suggestions, hints for next steps when stuck, and explain cryptic error messages. Its impact on novice metacognition has only started to be explored. Here we replicate a previous study that examined novice programming problem solving behavior and extend it by incorporating GenAI tools. Through 21 lab sessions consisting of participant observation, interview, and eye tracking, we explore how novices are coding with GenAI tools. Although 20 of 21 students completed the assigned programming problem, our findings show an unfortunate divide in the use of GenAI tools between students who accelerated and students who struggled. Students who accelerated were able to use GenAI to create code they already intended to make and were able to ignore unhelpful or incorrect inline code suggestions. But for students who struggled, our findings indicate that previously known metacognitive difficulties persist, and that GenAI unfortunately can compound them and even introduce new metacognitive difficulties. Furthermore, struggling students often expressed cognitive dissonance about their problem solving ability, thought they performed better than they did, and finished with an illusion of competence. Based on our observations from both groups, we propose ways to scaffold the novice GenAI experience and make suggestions for future work.

연구 동기 및 목표

• GenAI 도구가 초보 프로그래머가 프로그래밍 문제를 해결하는 데 어떤 영향을 미치는지 조사한다.
• GenAI가 이전에 식별된 메타인지적 어려움을 악화시키는지 여부를 검사한다.
• GenAI 사용에서 발생하는 새로운 메타인지적 어려움을 식별한다.
• GenAI 사용이 학생의 성취도 및 자기효능감과 어떤 관련이 있는지 평가한다.

제안 방법

• 동일한 문제와 자동 채점 도구(Athene)를 Canvas에 통합하여 이전의 실험실 연구를 재현한다.
• CS1 과정에서 학생들은 문제 해결 중에 VSCode와 GitHub Copilot 및 ChatGPT를 사용했다.
• 참여자 관찰, 생각소리 프로토콜, 아이 트래킹(Tobii), 인터뷰, 자기효능감 측정을 통해 데이터를 수집한다.
• 메타인지적 단계와 어려움의 사전 정의된 코드북에 따라 데이터를 코딩하고, GenAI 특유의 문제에 대한 새로운 코드를 추가한다.
• 메타인지적 어려움, 작업시간, 성적, 자기효능감 간의 상관관계를 분석한다.

Figure 1. Problem description from Athene

실험 결과

연구 질문

• RQ1 RQ1: GenAI 도구를 사용하여 프로그래밍 문제를 해결할 때 초보 프로그래머가 얻는 이점은 무엇인가?
• RQ2 RQ2: GenAI 도구를 사용하여 프로그래밍 문제를 해결할 때 초보 프로그래머가 직면하는 어려움은 무엇인가?

주요 결과

• GenAI 사용으로 일부 학생들은 해결책으로의 가속화를 경험한 반면, 다른 학생들은 지속적인 메타인지적 어려움을 보였다.
• Interruption, Mislead, Progression 등 GenAI 특유의 새로운 메타인지적 어려움이 기존의 것들 외에 등장했다.
• 높은 성적과 자기효능감을 가진 학생일수록 GenAI를 활용해 가속화하는 경향이 있었던 반면, 저성과 학생은 능력의 환상(illusion of competence)을 보였다.
• 메타인지적 어려움을 겪는 학생은 Copilot의 제안을 더 자주 받아들이는 경향이 있었고, 때로는 나중에 이를 재작업하거나 버리기도 했다.
• 연구는 GenAI의 이점과 해를 모두 관찰했으며, GenAI가 성취 격차를 확대하고 어려움을 겪는 학생들에 대한 기존 도전들을 강화할 수 있음을 시사하는 징후가 있었다.

Figure 2. Sample Feedback from Athene