[논문 리뷰] Innovating Computer Programming Pedagogy: The AI-Lab Framework for Generative AI Adoption

Ethan Dickey, Andres Bejarano외 1명|arXiv (Cornell University)|2023. 08. 23.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 기초 프로그래밍 과정에서 생성형 AI(Generative AI, GenAI)를 책임감 있게 통합할 수 있도록 돕는 교육적 모델인 AI-Lab 프레임워크를 소개한다. 프롬프트 엔지니어링, 오류 탐지, GenAI 출력의 비판적 평가를 강조함으로써, 문제 해결 및 알고리즘적 사고와 같은 핵심 역량 개발을 유지하면서도 과도한 의존을 줄이고자 한다. 이는 개선 후 학생들이 GenAI의 신뢰성에 대해 갖는 인식 변화를 통해 뚜렷하게 입증된다.

ABSTRACT

Over the last year, the ascent of Generative AI (GenAI) has raised concerns about its impact on core skill development, such as problem-solving and algorithmic thinking, in Computer Science students. Preliminary anonymous surveys show that at least 48.5% of our students use GenAI for homework. With the proliferation of these tools, the academic community must contemplate the appropriate role of these tools in education. Neglecting this might culminate in a phenomenon we term the "Junior-Year Wall," where students struggle in advanced courses due to prior over-dependence on GenAI. Instead of discouraging GenAI use, which may unintentionally foster covert usage, our research seeks to answer: "How can educators guide students' interactions with GenAI to preserve core skill development during their foundational academic years?" We introduce "AI-Lab," a pedagogical framework for guiding students in effectively leveraging GenAI within core collegiate programming courses. This framework accentuates GenAI's benefits and potential as a pedagogical instrument. By identifying and rectifying GenAI's errors, students enrich their learning process. Moreover, AI-Lab presents opportunities to use GenAI for tailored support such as topic introductions, detailed examples, corner case identification, rephrased explanations, and debugging assistance. Importantly, the framework highlights the risks of GenAI over-dependence, aiming to intrinsically motivate students towards balanced usage. This approach is premised on the idea that mere warnings of GenAI's potential failures may be misconstrued as instructional shortcomings rather than genuine tool limitations. Additionally, AI-Lab offers strategies for formulating prompts to elicit high-quality GenAI responses. For educators, AI-Lab provides mechanisms to explore students' perceptions of GenAI's role in their learning experience.

연구 동기 및 목표

• 기초 컴퓨터 과학 과정에서 생성형 AI가 문제 해결 및 알고리즘적 사고와 같은 핵심 프로그래밍 역량을 약화시키는 데 대한 우려가 증가하고 있는 데 대응하기 위해.
• 초기 학기 동안 GenAI에 과도하게 의존함으로써 고학년도 과정에서 어려움을 겪는 '저학년 벽'(Junior-Year Wall) 현상에 대비하기 위해.
• 교육자들이 GenAI를 잠재적인 학술 윤리 위협에서 구조화된 교육적 통합을 통해 성공적인 학습 도구로 전환할 수 있도록 안내하기 위해.
• 프롬프트 최적화, 오류 탐지, 맥락 이해를 강조함으로써 학생들이 GenAI를 단순한 길항 도구에서 비판적 사고 지원 도구로 바라보게 하기 위해.
• 실증적 설문 조사 자료를 바탕으로 학생들이 GenAI의 역할에 대해 갖는 인식을 평가하고 이끌 수 있는 도구를 제공하기 위해.

제안 방법

• AI-Lab 프레임워크는 GenAI를 체계적으로 지원하는 학습 파artner로 통합하여, 학생들이 주제 소개, 코드 예시, 극단적 케이스 식별, 설명 재구성, 디버깅 지원에 GenAI를 활용하도록 유도한다.
• 더 높은 품질의 정확한 GenAI 응답을 유도하기 위해 체계적인 프롬프트 엔지니어링 기법을 학생들에게 교육한다. 이는 환각 현상과 오류를 줄이는 데 기여한다.
• GenAI 출력의 비판적 평가를 강조하여, 학생들이 오류를 탐지하고 수정할 수 있도록 훈련함으로써 GenAI 사용을 수동적 수용이 아닌 능동적 학습 과정으로 전환한다.
• 교육자들은 개선 전·후 설문 조사를 통해 학생들이 GenAI의 신뢰성과 사용 패턴에 대해 갖는 인식 변화를 평가한다.
• GenAI 사용을 체계적인 과정 워크플로우 내에 통합하여, 학생의 인지적 역량 개발을 대체하기보다는 이를 지원하도록 한다.
• 일괄 금지 조치를 피하고, GenAI의 장점과 한계에 대한 투명한 설명을 통해 내재된 동기를 유도한다.

실험 결과

연구 질문

• RQ1 교육자들은 어떻게 학생들이 문제 해결 및 알고리즘적 사고와 같은 핵심 프로그래밍 역량을 유지하면서 생성형 AI를 사용할 수 있도록 이끌 수 있는가?
• RQ2 체계적인 GenAI 통합이 학생들이 GenAI의 신뢰성과 과도한 의존에 대해 갖는 인식에 어떤 영향을 미치는가?
• RQ3 GenAI는 기초 학습을 훼손하지 않으면서도 개인화된 지원 도구로 어떻게 활용될 수 있는가?
• RQ4 프롬프트 엔지니어링과 오류 탐지는 프로그래밍 교육에서 효과적인 GenAI 사용의 핵심 구성 요소로 어떻게 가르쳐야 하는가?
• RQ5 학생의 인식은 책임감 있는 GenAI 채택에 어떤 역할을 하는가? 그리고 교육자는 어떻게 이를 유도적으로 영향을 줄 수 있는가?

주요 결과

• AI-Lab 프레임워크를 도입한 후, GenAI를 '매우 신뢰할 만하다'(5점 척도 기준)로 평가한 학생 비율이 사전 설문 조사의 2.8%에서 6.9%로 증가하여, GenAI의 유용성에 대한 신뢰도가 뚜렷하게 향상된 것으로 나타났다.
• '매우 신뢰할 수 없다'(1점)로 평가한 학생 비율이 사전 조사에서 0%에서 10.3%로 증가하여, 지도된 사용 이후 학생들이 도구의 출력에 대해 더 큰 자신감을 갖게 되었다는 점을 시사한다.
• 37.1%의 학생이 동료 학생이 GenAI를 사용하는지에 대해 불확실함을 표현하여, 학술 환경에서의 모호하거나 보고되지 않은 도구 사용이 널리 퍼져 있음을 보여준다.
• 프레임워크는 학생들이 GenAI를 잠재적 길항 도구로 보는 인식에서, 비판적 평가와 보완이 필요한 도구로 보는 인식으로 전환시키는 데 성공했다.
• AI-Lab 프레임워크에 참여한 학생들은 GenAI가 생성한 오류를 식별하고 수정하는 능력이 향상되어, 수동적 수용이 아닌 인지적 참여를 강화했다.
• 이 연구는 체계적인 GenAI 통합이 초기 학기부터 메타인지 기술과 책임감 있는 도구 사용을 기르게 하여 '저학년 벽'의 위험을 줄일 수 있음을 확인한다.