[논문 리뷰] sk_p: a neural program corrector for MOOCs

Yewen Pu, Karthik Narasimhan외 2명|arXiv (Cornell University)|2016. 07. 11.

Software Testing and Debugging Techniques인용 수 4

한 줄 요약

이 논문은 MOOC에서 구문 오류와 의미 오류를 수정하기 위해 시퀀스-투-시퀀스 모델을 사용하는 신경망 프로그램 수정기 sk_p를 소개한다. 이 모델은 정확한 파이썬 프로그램의 트레이닝 데이터를 기반으로 학습되며, 구문적 및 의미적 오류에 대한 후보 수정안을 생성하고 검증한다. 이는 MOOC 과제에서 29%의 수정률을 기록하며, 기존의 수동 오류 모델링이 필요한 최첨단 기법들을 능가한다. 이는 기호 분석이나 사전 정의된 검색 공간 없이 데이터 기반의 생성적 수정 방식을 통해 달성된다.

ABSTRACT

We present a novel technique for automatic program correction in MOOCs, capable of fixing both syntactic and semantic errors without manual, problem specific correction strategies. Given an incorrect student program, it generates candidate programs from a distribution of likely corrections, and checks each candidate for correctness against a test suite. The key observation is that in MOOCs many programs share similar code fragments, and the seq2seq neural network model, used in the natural-language processing task of machine translation, can be modified and trained to recover these fragments. Experiment shows our scheme can correct 29% of all incorrect submissions and out-performs state of the art approach which requires manual, problem specific correction strategies.

연구 동기 및 목표

• MOOC, 특히 초보 프로그래밍 과정에서 학생의 잘못된 프로그램에 대해 정확하고 자동으로 피드백을 제공하는 데 도전한다.
• 기존의 기호적 프로그램 합성 접근 방식에서 요구하는 수동의 문제별 오류 모델이 필요 없도록 한다.
• 대규모 정확한 학생 제출물 코퍼스를 활용해 신경망 모델을 훈련함으로써 확장 가능한 데이터 기반의 방법을 개발한다.
• 큰 검색 공간을 열거하는 대신 가능성이 높은 수정안을 샘플링하는 생성 모델을 사용해 빠르고 실시간으로 수정을 수행할 수 있도록 한다.
• 간단한 국소적 구문 모델이 의미 인식 모델보다 MOOC 프로그램 수정 맥락에서 더 우수한 성능을 낼 수 있음을 보여준다.

제안 방법

• 정확한 학생 프로그램의 토큰화된 문장에서 학습된 수정된 시퀀스-투-시퀀스 신경망을 사용해 일반적인 코드 조각을 학습한다.
• 오류 위치 주변에서 오직 한 문장 전후의 문맥만을 사용하는 스킵그램 스타일의 컨텍스트 윈도우를 활용해 국소적으로 후보 수정안을 생성한다.
• 각 잘못된 문장에 대해 모델이 학습한 수정 가능성 분포에서 샘플링하여 후보 프로그램을 생성한다.
• 수동으로 작성된 테스트 셋을 사용해 정확성을 검증하고, 열거 및 검증 전략을 적용한다.
• 모델의 생성적 성격을 활용해 패치의 큰 명시적 검색 공간을 정의하고 순위를 매길 필요 없이 수정을 수행한다.
• 정확성이 동일한 테스트 셋을 사용해 검증된, 정확한 프로그램 코퍼스에서 종합적으로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 기호 분석 없이 순수하게 구문적이고 국소적인 신경망 모델이 의미적 오류까지 효과적으로 수정할 수 있는가?
• RQ2 수동 오류 모델 사양이 필요한 기호적 방법에 비해 데이터 기반의 생성적 접근 방식이 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ3 한 문장 전후의 최소한의 컨텍스트가 MOOC 환경에서 정확한 프로그램 수정에 충분한 정보를 제공하는가?
• RQ4 정확한 프로그램으로 훈련된 모델이 훈련 데이터에 정확히 일치하지 않는 잘못된 프로그램까지 일반화하여 수정할 수 있는가?
• RQ5 실제 MOOC 환경에서 신경망 수정 시스템의 성능이 최첨단 기호적 및 군집 기반 접근 방식과 비교해 어떻게 되는가?

주요 결과

• sk_p는 MITx의 6.00x 과정에서 제공한 7개의 파이썬 프로그래밍 과제에서 모든 잘못된 학생 제출물의 29%를 수정한다.
• 3개의 공통 벤치마크에서 sk_p는 평균 35%의 정확도를 기록했으며, 수동 오류 모델링이 필요한 최첨단 Autograder 시스템(30% 정확도)을 약간 앞서나간다.
• 제출물당 평균 5.6초 내로 시스템이 작동하여 MOOC 피드백에 실시간 적용 가능성을 입증한다.
• 모델은 잘못된 루프 구조와 같은 비틀린 의미 오류를 식별하고 의미적으로 타당한 대체안을 생성함으로써 성공적으로 수정한다.
• 훈련 데이터에 존재하지 않는 '새로운' 수정안(즉, 훈련 세트에 없는 유효한 수정)을 발견함으로써, 단순한 템플릿 매칭을 넘어서 일반화 능력을 입증한다.
• 의미 분석 없이도 간단하고 국소적인 토큰 수준의 모델이 경쟁력을 유지함을 보여주며, MOOC 코드에서의 구문 패턴이 수정에 매우 예측 가능하다는 것을 시사한다.