[논문 리뷰] ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback

Mike Wu, Noah D. Goodman외 2명|arXiv (Cornell University)|2021. 07. 23.

Software Testing and Debugging Techniques참고 문헌 76인용 수 8

한 줄 요약

ProtoTransformer는 소수의 예시를 사용한 분류를 통해 대학 수준의 시험 문제에 대해 정확한 피드백을 생성하는 메타학습 프레임워크를 제안한다. 이는 미사용된 대학 시험 문제에서 평균 정밀도 88%를 달성하여 교수조교(82%)를 뛰어넘고 표준 지도학습 방법(65%)을 능가한다. 이는 16,000명의 학생에게 피드백을 제공하는 데 성공적으로 도입된 바 있다.

ABSTRACT

High-quality computer science education is limited by the difficulty of providing instructor feedback to students at scale. While this feedback could in principle be automated, supervised approaches to predicting the correct feedback are bottlenecked by the intractability of annotating large quantities of student code. In this paper, we instead frame the problem of providing feedback as few-shot classification, where a meta-learner adapts to give feedback to student code on a new programming question from just a few examples annotated by instructors. Because data for meta-training is limited, we propose a number of amendments to the typical few-shot learning framework, including task augmentation to create synthetic tasks, and additional side information to build stronger priors about each task. These additions are combined with a transformer architecture to embed discrete sequences (e.g. code) to a prototypical representation of a feedback class label. On a suite of few-shot natural language processing tasks, we match or outperform state-of-the-art performance. Then, on a collection of student solutions to exam questions from an introductory university course, we show that our approach reaches an average precision of 88% on unseen questions, surpassing the 82% precision of teaching assistants. Our approach was successfully deployed to deliver feedback to 16,000 student exam-solutions in a programming course offered by a tier 1 university. This is, to the best of our knowledge, the first successful deployment of a machine learning based feedback to open-ended student code.

연구 동기 및 목표

• 대학 수준의 컴퓨터 과학 수업에서 학생 프로그래밍 코드에 대한 고품질 피드백을 제공하는 데 있어 확장성 문제를 해결한다.
• 라벨이 부족하고 새로운 문제로의 일반화가 어려운 소수의 예시 설정에서 지도학습의 한계를 극복한다.
• 소규모 전문가가 주석을付けた 예시 집합을 효율적으로 활용하여 새로운 프로그래밍 질문과 학생 코드로 일반화할 수 있는 메타학습 프레임워크를 개발한다.
• 코드 전용 과제(예: 변수명 다양성)를 다루기 위해 작업 증강, 보조 정보, 강력한 시퀀스 인코딩을 통해 소수의 예시 학습을 향상시킨다.

제안 방법

• 모델이 소수의 레이블이 붙은 학생 코드 예시만을 사용하여 새로운 프로그래밍 질문에 적응하도록, 피드백 예측을 소수의 분류 문제로 설정한다.
• 프로그래밍 코드 시퀀스를 질문 및 점수 기준 설명에 따라 조건화된 밀도 임베딩으로 인코딩하기 위해 트랜스포머 기반 아키텍처를 사용한다.
• 각 피드백 카테고리(예: '구문 오류', '변수 누락')의 모든 지원 예시의 평균 임베딩으로 클래스 프로토타입을 계산한다.
• 점수 기준 설명 및 질문 임베딩과 같은 보조 정보를 통합하여 인덕티브 바이어스를 강화하고 소수의 예시 일반화를 향상시킨다.
• 프로그램 가로막기와 바이트-페어 인코딩을 통해 작업 증강을 적용하여 메타학습 기간 동안 합성 작업을 생성하고 데이터 다양성을 높인다.
• 소수의 예시 적응 단계에서 새로운 작업에 대한 분류 오차를 최소화하는 메타학습 목표를 사용해 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 소수의 주석이 붙은 예시만을 사용하여 메타학습 접근 방식이 인간 수준의 정확도로 학생 프로그래밍 코드 피드백을 분류할 수 있는가?
• RQ2 작업 증강과 보조 정보는 소수의 예시 일반화를 향상시키는 데 얼마나 효과적인가?
• RQ3 프로토타입 임베딩을 갖춘 트랜스포머 기반 모델이 실제 대학 수준의 프로그래밍 과제에서 표준 지도학습 및 이전 메타학습 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 실제 배포 환경에서 교수조교 및 기준 모델과 비교해 볼 때, 모델은 새로운 프로그래밍 질문에서 어떻게 성능을 발휘하는가?

주요 결과

• ProtoTransformer는 미사용된 프로그래밍 시험 문제에서 평균 정밀도 88%를 달성하여 교수조교(82%)와 표준 지도학습 기반 모델(65%)을 뛰어넘었다.
• 메타학습 기간 동안 볼 수 없었던 새로운 프로그래밍 문제로도 효과적으로 일반화되어, 강력한 소수의 예시 일반화 능력을 보였다.
• 프로그램 가로막기 및 합성 작업 생성을 통한 작업 증강은 특히 데이터가 적은 환경에서 모델의 강인성과 성능을 향상시켰다.
• 보조 정보(예: 점수 기준 및 질문 임베딩)를 통합함으로써 더 강력한 인덕티브 바이어스를 제공하여 모델 성능이 크게 향상되었다.
• 모델는 대규모로 성공적으로 배포되어 일류 대학 과정에서 16,000명의 학생 시험 답안에 피드백을 제공했다. 이는 개방형 학생 코드에 대해 기계학습 기반 피드백을 실생활에 성공적으로 도입한 최초의 사례이다.
• 제거 실험 결과 각 구성 요소—트랜스포머 아키텍처, 보조 정보, 작업 증강—이 최종 성능에 기여하고 있음을 확인했으며, 전체 모델가 제거된 변형보다 뛰어난 성능을 보였다.