[논문 리뷰] From Prediction to Application: Language Model-based Code Knowledge Tracing with Domain Adaptive Pre-Training and Automatic Feedback System with Pedagogical Prompting for Comprehensive Programming Education

Unggi Lee, Jiyeong Bae외 10명|arXiv (Cornell University)|2024. 01. 01.

Intelligent Tutoring Systems and Adaptive Learning인용 수 1

한 줄 요약

이 논문은 프로그래밍 교육에서 예측 정확도를 향상시키기 위해 도메인 적응형 및 작업 적응형 미사전훈련을 활용하는 언어 모델 기반 접근법인 CodeLKT를 소개한다. CodeLKT는 대규모 언어 모델과 통합되어 구조화된 프롬프트를 사용해 개인화되고 교육학적으로 타당한 피드백을 생성한다. 이 시스템은 기존 모델보다 뚜렷이 뛰어나며, 예측과 응용 사이의 격차를 메우는 실질적인, 맥락 인식 피드백을 가능하게 한다.

ABSTRACT

Knowledge Tracing (KT) is a critical component in online learning, but traditional approaches face limitations in interpretability and cross-domain adaptability. This paper introduces Language Model-based Code Knowledge Tracing (CodeLKT), an innovative application of Language model-based Knowledge Tracing (LKT) to programming education. CodeLKT leverages pre-trained language models to process learning data, demonstrating superior performance over existing KT and Code KT models. We explore Domain Adaptive Pre-Training (DAPT) and Task Adaptive Pre-Training (TAPT), showing enhanced performance in the coding domain and investigating cross-domain transfer between mathematics and coding. Additionally, we present an theoretically-informed integrated system combining CodeLKT with large language models to generate personalized, in-depth feedback to support students' programming learning. This work advances the field of Code Knowledge Tracing by expanding the knowledge base with language model-based approach and offering practical implications for programming education through data-informed feedback.

연구 동기 및 목표

• 프로그래밍 교육에서 의미적 뉘앙스를 포착하고 도메인 간 전이를 가능하게 하는 전통적 지식 추적(KT) 모델의 한계를 해결하기 위해.
• 도메인 및 작업 특화 적응을 활용해 사전 훈련된 언어 모델을 활용해 코드 지식 추적(CodeKT)의 예측 정확도를 향상시키기 위해.
• 자동화된, 교육학적으로 근거가 있는 피드백 생성을 통합한 통합 시스템을 통해 예측 모델링과 실용적 응용 사이의 격차를 해소하기 위해.
• 언어 모델을 활용해 수학과 프로그래밍 간의 도메인 간 지식 전이를 탐구하기 위해.
• 학생의 학습 역사와 성과를 바탕으로 맥락 인식형 개인화 지침을 제공하는 교육 이론에 기반한 피드백 시스템을 개발하기 위해.

제안 방법

• CodeLKT는 학생의 코드 시퀀스를 자연어로 처리하는 언어 모델 기반 아키텍처를 사용하여 코드와 응답의 의미적 및 문법적 패턴을 포착한다.
• 도메인 적응형 미사전훈련(DAPT)은 기반 언어 모델을 프로그래밍 전용 코퍼스로 미세조정하여 프로그래밍 도메인에서의 성능을 향상시킨다.
• 작업 적응형 미사전훈련(TAPT)은 CodeKT 전용 데이터로 모델을 추가로 적응시켜 작업 특화 지식 추적 능력을 향상시킨다.
• 프롬프트 기반 피드백 시스템은 교육학적 프롬프트 템플릿과 구조적 구성 요소(예: 긍정적 피드백, 힌트, 관련 과거 문제)를 사용해 맥락 인식형, 학생별 맞춤 피드백을 생성한다.
• 피드백 시스템은 CodeLKT의 예측 출력(예: 정확도 확률)을 LLM과 통합하여 정확도 수정, 향상 팁, 다음 과제를 포함한 다성분 피드백을 생성한다.
• 이 시스템은 이중 단계 프롬프트 프레임워크를 사용한다: 하나는 정답 제출 시 정확도 피드백을 위한 것이고, 다른 하나는 정답이 잘못되었을 때 힌트 피드백을 위한 것으로, 모두 프로그래밍 교육 이론에 기반한다.

실험 결과

연구 질문

• RQ1 CodeLKT는 프로그래밍 학습 과제에서 기존 KT 및 CodeKT 모델과 비교해 예측 정확도 측면에서 어떻게 성능을 내는가?
• RQ2 도메인 적응형 미사전훈련(DAPT)이 프로그래밍 도메인에서 모델 성능을 얼마나 향상시키는가?
• RQ3 언어 모델을 통해 수학에서 프로그래밍으로 지식을 효과적으로 전이할 수 있는가, 그리고 이는 성능에 어떤 영향을 미치는가?
• RQ4 작업 적응형 미사전훈련(TAPT)이 CodeKT 전용 성능 향상에 얼마나 효과적인가?
• RQ5 LLM 기반 피드백 시스템은 학생의 학습을 예측을 넘어서 지원하는 교육학적으로 타당한 개인화 피드백을 효과적으로 생성할 수 있는가?

주요 결과

• CodeLKT는 프로그래밍 교육 벤치마크에서 기존 KT 및 CodeKT 모델보다 뚜렷이 뛰어난 예측 정확도를 보이며, 뛰어난 성능을 입증한다.
• 도메인 적응형 미사전훈련(DAPT)은 프로그래밍 전용 과제에서 모델 성능 향상에 명백한 기여를 하며, 도메인 특화 미세조정의 가치를 확인한다.
• 작업 적응형 미사전훈련(TAPT)은 CodeKT 과제에서 모델 성능을 추가로 향상시켜, 작업 특화 적응이 지식 추적에 효과적임을 시사한다.
• 언어 모델을 활용해 수학에서 프로그래밍으로의 도메인 간 지식 전이가 가능하며, 이는 STEM 분야 간 공통 기반 모델의 잠재력을 시사한다.
• 통합된 피드백 시스템은 정확도 수정, 향상 팁, 다음 과제를 포함한 고품질의 개인화 피드백을 생성하며, 정성적 증거를 통해 교육학적으로 타당하고 맥락에 부합하는 피드백임을 입증한다.