[論文レビュー] Zero Shot Learning for Code Education: Rubric Sampling with Deep Learning Inference

Mike Wu, Milan Mosse+2 more|arXiv (Cornell University)|Sep 5, 2018

Adversarial Robustness in Machine Learning参考文献 22被引用数 5

ひとこと要約

本論文は、『ルーブリックサンプリング』——人間を介する手法で、プログラム誤解ペア p(x,y) における専門家事前分布を引き出すことで、履歴データがなくともディープラーニング推論 p(y|x) を可能にするゼロショットフィードバックシステムを紹介する。この手法は、フィードバック予測において人間水準の正確性を達成し、ベースライン比でF1スコアを2倍にし、帰属特定、時間的追跡、合成データセット生成を可能にする。

ABSTRACT

In modern computer science education, massive open online courses (MOOCs) log thousands of hours of data about how students solve coding challenges. Being so rich in data, these platforms have garnered the interest of the machine learning community, with many new algorithms attempting to autonomously provide feedback to help future students learn. But what about those first hundred thousand students? In most educational contexts (i.e. classrooms), assignments do not have enough historical data for supervised learning. In this paper, we introduce a human-in-the-loop "rubric sampling" approach to tackle the "zero shot" feedback challenge. We are able to provide autonomous feedback for the first students working on an introductory programming assignment with accuracy that substantially outperforms data-hungry algorithms and approaches human level fidelity. Rubric sampling requires minimal teacher effort, can associate feedback with specific parts of a student's solution and can articulate a student's misconceptions in the language of the instructor. Deep learning inference enables rubric sampling to further improve as more assignment specific student data is acquired. We demonstrate our results on a novel dataset from Code.org, the world's largest programming education platform.

研究の動機と目的

• 履歴データがまったくない課題においても、大規模なプログラミング教育で高品質なフィードバックを提供する課題に対処すること。
• ラベル付けが極めて高コストで非現実的である低データ環境における教師あり学習の限界を克服すること。
• 過去の例がなくとも、新しいプログラミング課題の最初の学生に対して正確で解釈可能なフィードバックを提供する手法を開発すること。
• フィードバックを特定のコードセグメントに帰属づけ、学生の誤解の長期的変化を追跡することを可能にすること。
• 深層生成モデルを用いて、より多くの課題固有データが得られるほど改善する、スケーラブルでデータ効率の良いフレームワークを構築すること。

提案手法

• 専門家に特定の誤解に対して妥当なプログラムを生成するよう求めることで、学生のプログラム x とその誤解 y の同時分布 p(x,y) に対する専門家事前分布を引き出す『ルーブリックサンプリング』を用いる。
• 合成データとしてのルーブリックサンプリングとラベルなしの実際の学生データの両方を統合して、学生プログラムの真の分布を学習する深層生成モデル（MVAE）を活用する。
• モデルの過剰適合（メモリ化）を防ぐために、ラベルなしデータに log-Zipf 変換を適用し、まれな末尾の解決策のカバー率を向上させる。
• ルーブリックサンプリングから得た合成プログラムと実際の学生プログラムの混合データ上で MVAE を学習させ、実データ分布への忠実度を向上させる。
• 訓練済みの MVAE を用いて、未観測の学生プログラムに対して推論 p(y|x) を実行し、ゼロショットでのフィードバック予測を可能にする。
• 専門家知識が入手不能な場合に、進化的な戦略を用いて最適なパラメータ θ を自動で学習し、モデルの頑健性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 履歴データがまったくない状況でも、ゼロショットフィードバックシステムが学生の誤解を人間水準の正確性で特定できるか？
• RQ2 ルーブリックサンプリングは、まれだが意味のあるエラーの長尾部分を、学生プログラムの分布を的確に捉えるのにどの程度有効か？
• RQ3 MVAE が合成されたルーブリックデータと実際のラベルなし学生データを組み合わせることで、どの程度フィードバックの正確性を向上させられるか？
• RQ4 このシステムは、フィードバックを特定のコードセグメントに帰属づけ、学習の長期的追跡を可能にするか？
• RQ5 低データ環境下において、ルーブリックサンプリングはデータ集約型の最先端手法と比較してどの程度優れているか？

主な発見

• ルーブリックサンプリングとディープラーニング推論を組み合わせた手法は、F1スコアがベースライン比で2倍に上昇し、ゼロショットフィードバック予測において人間水準の正確性に近づいた。
• この手法は、歴史的例がゼロであっても、データ集約型の最先端アルゴリズムを上回り、未観測の課題への一般化性能が顕著に優れていた。
• ルーブリックサンプリングと実際の学生データの混合データで学習した MVAE は、PCFG を用いた合成モデルよりも、学生プログラムの真の分布（D_unlabeled）を著しくよく捉えていた。
• log-Zipf 変換は、最も頻出するプログラムにモデルが過剰適合するのを効果的に防ぎ、まれでエラーが生じやすい解決策のカバー率を向上させた。
• 初心者がルーブリックを作成するのに平均19.4分で済む一方、TAが800件のプログラムをラベル付けするには24.9時間もかかることから、本手法の効率性が顕著に示された。
• 進化的な戦略によるルーブリックパラメータ（θ）の自動学習は、手動で選んだパラメータを上回り、一部のタスクでは専門家の選択をも凌駆する結果となった。