[論文レビュー] Mathematical Language Processing: Automatic Grading and Feedback for Open Response Mathematical Questions

Andrew Lan, Divyanshu Vats+2 more|arXiv (Cornell University)|Jan 18, 2015

Intelligent Tutoring Systems and Adaptive Learning参考文献 32被引用数 15

ひとこと要約

本論文は、STEM教育における開かれた回答形式の数学的問題の自動採点およびフィードバックを目的としたデータ駆動型フレームワーク、Mathematical Language Processing (MLP) を提案する。解法を数値特徴に変換し、正解・部分的に正解・誤りの解法パターンを特定するクラスタリングを実施し、教員が各クラスタに対して提供した採点結果を活用することで、リアルタイムでの誤り特定と部分得点の割り当てを可能にする。この手法により、MOOCデータを用いた実験で、人的な採点作業を顕著に削減できることが示された。

ABSTRACT

While computer and communication technologies have provided effective means to scale up many aspects of education, the submission and grading of assessments such as homework assignments and tests remains a weak link. In this paper, we study the problem of automatically grading the kinds of open response mathematical questions that figure prominently in STEM (science, technology, engineering, and mathematics) courses. Our data-driven framework for mathematical language processing (MLP) leverages solution data from a large number of learners to evaluate the correctness of their solutions, assign partial-credit scores, and provide feedback to each learner on the likely locations of any errors. MLP takes inspiration from the success of natural language processing for text data and comprises three main steps. First, we convert each solution to an open response mathematical question into a series of numerical features. Second, we cluster the features from several solutions to uncover the structures of correct, partially correct, and incorrect solutions. We develop two different clustering approaches, one that leverages generic clustering algorithms and one based on Bayesian nonparametrics. Third, we automatically grade the remaining (potentially large number of) solutions based on their assigned cluster and one instructor-provided grade per cluster. As a bonus, we can track the cluster assignment of each step of a multistep solution and determine when it departs from a cluster of correct solutions, which enables us to indicate the likely locations of errors to learners. We test and validate MLP on real-world MOOC data to demonstrate how it can substantially reduce the human effort required in large-scale educational platforms.

研究の動機と目的

• 大規模なSTEM教育課程における人的採点のスケーラビリティの課題に対処すること。特に、開かれた回答形式の数学的問題に焦点を当てる。
• 部分得点を割り当て、誤りの位置を的確に指摘するフィードバックを提供する自動化システムの開発。
• 診断的洞察を制限するペア採点や二値選択式の多肢選択問題への依存を減らすこと。
• 学習者による解法データを活用して、解法の構造をモデル化し、大規模に誤解を特定すること。
• 複数ステップで構成される問題において、解法入力の段階的進行に伴いクラスタのずれを追跡することで、リアルタイムでのフィードバックを可能とすること。

提案手法

• 学習者の各解法を、数学的式、演算子、構造を捉える数値特徴の系列に変換する。
• 汎用的およびベイジアン非パラメトリックなクラスタリング手法を適用し、特徴の類似性に基づいて解法をグループ化し、正解・部分的に正解・誤りのクラスタを特定する。
• 各クラスタに対して1つの教員採点を提供することで、そのクラスタに属する全解法の期待得点を推定し、大規模な自動採点を実現する。
• 複数ステップで構成される解法において、段階的なクラスタ割り当てを追跡することで、学習者が正解の解法経路から逸脱した瞬間を検出でき、リアルタイムでの誤り特定を可能にする。
• 確率的モデルを用いて、解法が誤りである確率を推定し、期待される得点を予測する。
• クラスタ割り当てが正解の解法クラスタから逸脱したステップを特定することで、フィードバック生成を統合する。

実験結果

リサーチクエスチョン

• RQ1 シンボリック推論や形式的証明検証に依存せずに、データ駆動型フレームワークが開かれた回答形式の数学的解法に対して部分得点を自動的に割り当てられるか。
• RQ2 解法特徴のクラスタリングは、大規模な学習者データにおいて共通する誤解や解法構造をどのように明らかにできるか。
• RQ3 段階的な解法入力中に正解の解法クラスタからの逸脱を追跡することで、どの程度リアルタイムでのフィードバックを生成できるか。
• RQ4 ベイジアン非パラメトリッククラスタリングは、標準的なクラスタリング手法と比較して、外れ値の解法に対してより高いロバスト性を示せるか。
• RQ5 提案されたMLPフレームワークは、従来の採点システムやペア採点と比較して、教員の関与をどの程度削減できるか。

主な発見

• MLPフレームワークは、学習者による解法データを活用してスコアリングとフィードバックを自動化することで、大規模な教育プラットフォームにおける人的採点作業を顕著に削減した。
• MLP-Bバージョンは、各式入力後に誤りの可能性と期待得点を更新することで、段階的クラスタのずれを検出することにより、リアルタイムでのフィードバック生成に成功した。
• 誤りである確率が0.93に達する解法は、3点中2点の期待得点が割り当てられ、部分得点の推定が正確に行われたことを示した。
• 同一の問題について、三角関数の式変形において複数の正解路線が存在することを同定した。これは、解法の多様性を適切に扱える能力を示している。
• クラスタリングにより、微分における商の法則の誤った適用といった明確な誤りパターンが特定され、教員が共通する誤解を特定する手がかりを得られた。
• 本フレームワークは、実世界のMOOCデータにおいてスケーラビリティと適応性を示し、edXなどのプラットフォームへの統合による広範な展開の可能性を示した。