[논문 리뷰] Learning Program Embeddings to Propagate Feedback on Student Code

Chris Piech, Jonathan Huang외 4명|arXiv (Cornell University)|2015. 05. 22.

Online Learning and Analytics참고 문헌 23인용 수 85

한 줄 요약

이 논문은 프로그램을 전조건 및 후조건 공간 간 선형 사상으로 모델링함으로써 프로그램 임베딩을 학습하는 신경망 방법을 제안한다. 이는 수십만에서 수백만 명의 학생이 참여하는 대규모 온라인 프로그래밍 강좌에서 강사 피드백을 스케일링 가능한 방식으로 전파할 수 있도록 한다. 제안된 방법은 복잡한 코드에서 90% 정밀도에서 33% 재현율을 달성하며, Code.org 및 스탠포드 CS1의 실제 데이터셋에서 강력한 성능을 보이며 기존 방법을 뛰어넘는다.

ABSTRACT

Providing feedback, both assessing final work and giving hints to stuck students, is difficult for open-ended assignments in massive online classes which can range from thousands to millions of students. We introduce a neural network method to encode programs as a linear mapping from an embedded precondition space to an embedded postcondition space and propose an algorithm for feedback at scale using these linear maps as features. We apply our algorithm to assessments from the Code.org Hour of Code and Stanford University's CS1 course, where we propagate human comments on student assignments to orders of magnitude more submissions.

연구 동기 및 목표

• 수천만 명의 학생이 참여하는 대규모 온라인 컴퓨터 과학 강좌에서 스케일링 가능한 개인화된 피드백을 제공하는 데 도전하는 것.
• 기계 학습 시스템에서 사용할 수 있도록 학생 코드의 기능적 및 스타일적 특징을 모두 포괄하는 기능 임베딩 방법을 개발하는 것.
• 학습된 프로그램 임베딩을 활용해 인간 강사가 제공한 피드백을 수많은 학생 제출물로 자동 전파할 수 있도록 하는 것.
• Code.org 및 스탠포드 대학의 CS1 과정에서의 실제 데이터셋을 대상으로 성능을 평가하여 다양한 코드 복잡도에서의 효과성을 입증하는 것.
• 실행 가능한 프로그램 동작(전조건/후조건 쌍을 통한)을 감독 신호로 사용하여 의미 있는 코드 표현을 학습하는 데의 가능성을 탐색하는 것.

제안 방법

• 이 방법은 공유 유클리드 공간 내에서 프로그램 전조건 및 후조건의 공동 임베딩을 학습하여, 각 프로그램을 이러한 임베딩된 상태 간의 선형 변환으로 표현한다.
• 기능적 및 스타일적 특징를 동시에 끌어내는 데에 적합한 신경망 아키텍처를 사용하며, 프로그램 임베딩과 메모리 상태를 동시에 최적화함으로써 종단 간 학습을 가능하게 한다.
• 학습 데이터는 프로그램을 다양한 입력에서 실행함으로써 수집된 입력-출력(전조건-후조건) 쌍을 통해 생성되며, 이는 임베딩 학습 과정의 감독 신호로 사용된다.
• 비모수적 모델(NPM)과 순환 신경망(RNN)을 활용하여 후조건 예측 및 피드백 전파를 수행하며, 성능 평가는 보류 세트를 통해 이루어진다.
• 유사한 프로그램 임베딩을 식별하고, 인간이 평가한 제출물에서의 코멘트를 의미적으로 유사한 평가되지 않은 제출물로 전달함으로써 피드백 전파를 수행한다.
• Code.org의 Hour of Code 및 스탠포드의 프로그래밍 메소드올로지 과정에서의 데이터셋을 대상으로 모델을 평가하였으며, 정밀도, 재현도, 순환 복잡도 등의 지표를 사용하였다.

실험 결과

연구 질문

• RQ1 실행 가능한 프로그램 동작에서 유의미한 기능적 및 스타일적 특징을 효과적으로 학습할 수 있는 프로그램 임베딩을 만들 수 있는가?
• RQ2 이러한 임베딩을 사용하여 대규모 수의 학생 제출물에 대해 인간 강사의 피드백을 자동으로 전파할 수 있는가?
• RQ3 특히 순환 복잡도 측면에서 코드 복잡도가 증가함에 따라 모델 성능은 어떻게 변화하는가?
• RQ4 AST 편집 거리나 수작업으로 설계한 특징과 같은 기존 방법과 비교해 복잡한 코드에서 피드백 전파 작업에서 제안된 방법은 얼마나 우수한가?
• RQ5 학습된 임베딩이 다양한 프로그래밍 과제와 교과 과정 규모 간에 얼마나 일반화되는가?

주요 결과

• 비모수적 모델(NPM)은 Code.org 데이터셋에서 90% 정밀도에서 33% 재현율을 달성하며, 기존 기준 방법들을 능가하는 성능을 보였다.
• NPM 모델는 코드 복잡도가 증가함에 따라도 안정적인 테스트 정확도를 유지했지만, RNN 모델의 성능은 매우 복잡한 프로그램에서 크게 떨어졌다.
• RNN 모델는 단순한 프로그램(순환 복잡도 ≤ 6)에서는 더 나은 성능을 보였지만, 더 복잡한 코드에서는 과적합되어 성능이 떨어졌다.
• 이 방법은 인간이 평가한 예제 수보다 수개의 주기수에 달하는 제출물에 대해 피드백을 전파할 수 있었으며, 이는 스케일링 가능성을 입증한다.
• 기존의 AST 편집 거리나 수작업 특징 기반 방법과 비교해 복잡도가 높은 코드에서 임베딩이 피드백 전파 성능을 뚜렷이 향상시켰다.
• 이 방법은 대규모 스케일(2700만 명 이상의 학습자 포함)과 더 복잡한 과제(스탠포드 CS1) 모두에서 효과성을 입증했다.