[논문 리뷰] Mathematical Language Processing: Automatic Grading and Feedback for Open Response Mathematical Questions

Andrew Lan, Divyanshu Vats외 2명|arXiv (Cornell University)|2015. 01. 18.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 32인용 수 15

한 줄 요약

이 논문은 STEM 교육에서 개방형 수학 문제에 대한 자동 채점 및 피드백을 위한 데이터 기반 프레임워크인 수학어처리(MLP)를 제안한다. 해답을 수치적 특징으로 변환하고, 이를 기반으로 정답, 부분 정답, 오답 패턴을 식별하기 위해 군집화를 수행하며, 강사가 제공한 각 군집의 점수를 활용함으로써, 실시간 오류 위치 특정 및 부분 점수 부여가 가능한 확장성 있고 정확한 채점이 가능해진다. 이는 MOOC 데이터에서 수동 채점 노력의 현저한 감소를 입증하였다.

ABSTRACT

While computer and communication technologies have provided effective means to scale up many aspects of education, the submission and grading of assessments such as homework assignments and tests remains a weak link. In this paper, we study the problem of automatically grading the kinds of open response mathematical questions that figure prominently in STEM (science, technology, engineering, and mathematics) courses. Our data-driven framework for mathematical language processing (MLP) leverages solution data from a large number of learners to evaluate the correctness of their solutions, assign partial-credit scores, and provide feedback to each learner on the likely locations of any errors. MLP takes inspiration from the success of natural language processing for text data and comprises three main steps. First, we convert each solution to an open response mathematical question into a series of numerical features. Second, we cluster the features from several solutions to uncover the structures of correct, partially correct, and incorrect solutions. We develop two different clustering approaches, one that leverages generic clustering algorithms and one based on Bayesian nonparametrics. Third, we automatically grade the remaining (potentially large number of) solutions based on their assigned cluster and one instructor-provided grade per cluster. As a bonus, we can track the cluster assignment of each step of a multistep solution and determine when it departs from a cluster of correct solutions, which enables us to indicate the likely locations of errors to learners. We test and validate MLP on real-world MOOC data to demonstrate how it can substantially reduce the human effort required in large-scale educational platforms.

연구 동기 및 목표

• 대규모 STEM 과정에서 수동 채점의 확장성 문제를 해결하기 위해, 특히 개방형 수학 문제에 대해.
• 부분 점수를 할당하고 오류 위치에 대한 대상 피드백을 제공하는 자동화된 시스템을 개발하기 위해.
• 진단적 통찰을 제한하는 피어 채점 또는 이진 다중선택 평가에 대한 의존도를 줄이기 위해.
• 학습자 해답 데이터를 활용해 해답 구조를 모델링하고 대규모로 오개념을 탐지하기 위해.
• 다단계 문제에서의 단계별 해답 입력 동안 군집 이탈을 추적하여 실시간 피드백을 제공하기 위해.

제안 방법

• 학습자가 제출한 해답을 수학적 표현, 연산, 구조를 반영하는 수치적 특징의 시퀀스로 변환한다.
• 일반적이고 베이지안 비모수적 군집화 알고리즘을 적용하여 특징 유사도 기반으로 해답을 군집화하고, 정답, 부분 정답, 오답 해답의 군집을 식별한다.
• 각 군집에 대해 한 명의 강사가 제공한 점수를 활용해, 해당 군집에 속한 모든 해답에 대한 기대 점수를 추론함으로써 대규모 자동 채점이 가능해진다.
• 다단계 해답에서 단계별 군집 할당을 추적하여 학습자가 정답 해답 경로에서 벗어나는 순간을 탐지함으로써 실시간 오류 위치 특정이 가능해진다.
• 확률 모델을 활용해 해답이 잘못되었을 가능성과 기대 부분 점수를 추정한다.
• 군집 할당이 정답 해답 군집에서 벗어나는 단계를 강조하여 피드백 생성 기능을 통합한다.

실험 결과

연구 질문

• RQ1 기호 추론이나 공식 증명 검증에 의존하지 않고도 데이터 기반 프레임워크가 개방형 수학 해답에 대해 부분 점수를 자동으로 부여할 수 있는가?
• RQ2 해답 특징의 군집화는 대규모 학습자 데이터에서 공통적인 오개념과 해답 구조를 어떻게 드러낼 수 있는가?
• RQ3 단계별 해답 입력 중 정답 해답 군집에서의 이탈을 추적함으로써 실시간 피드백을 얼마나 잘 생성할 수 있는가?
• RQ4 표준 군집화 방법에 비해 베이지안 비모수적 군집화가 외곽값 해답에 대해 더 강건한가?
• RQ5 제안된 MLP 프레임워크는 전통적 또는 피어 채점 시스템에 비해 강사의 개입 필요성을 얼마나 줄일 수 있는가?

주요 결과

• MLP 프레임워크는 학습자 해답 데이터를 활용해 채점과 피드백 자동화를 통해 대규모 교육 플랫폼에서 인간의 채점 노력을 성공적으로 감소시켰다.
• MLP-B 버전은 단계별 군집 이탈을 감지함으로써 실시간 피드백 생성을 달성했으며, 각 수식 입력 후 오류 가능성과 기대 점수가 갱신되었다.
• 오류 가능성 확률이 0.93인 해답은 3점 만점에 평균 2점의 기대 점수를 획득하여 정확한 부분 점수 추정이 가능함을 입증했다.
• 동일한 문제에 대해 여러 정답 해답 경로를 식별했으며, 예를 들어 삼각함수 식의 간소화 과정에서 이를 확인함으로써, 다양한 해답 경로를 처리할 수 있는 능력을 입증했다.
• 군집화를 통해 오차 패tern이 명확하게 드러났으며, 예를 들어 도함수 계산에서 몫의 법칙을 잘못 적용하는 등의 오류 패턴을 식별함으로써 강사가 공통적인 오개념을 식별할 수 있도록 했다.
• 실제 MOOC 데이터 기반으로 프레임워크는 확장성과 적응성을 입증했으며, edX와 같은 플랫폼에 통합되어 보다 넓은 도입이 가능할 잠재력을 보였다.