[論文レビュー] Learning Program Embeddings to Propagate Feedback on Student Code

Chris Piech, Jonathan Huang+4 more|arXiv (Cornell University)|May 22, 2015

Online Learning and Analytics参考文献 23被引用数 85

ひとこと要約

本論文では、プログラムを事前条件と事後条件の埋め込み空間間の線形写像としてモデル化することで、大規模オンラインコーディングコースにおけるインstructerフィードバックのスケーラブルな伝達を可能にするニューラルネットワーク手法を提案する。この手法は、複雑なコードにおいても、Code.orgおよびスタンフォードCS1の実世界データセットで強力な性能を示し、フィードバック伝達において90%の精度で33%のリコールを達成した。

ABSTRACT

Providing feedback, both assessing final work and giving hints to stuck students, is difficult for open-ended assignments in massive online classes which can range from thousands to millions of students. We introduce a neural network method to encode programs as a linear mapping from an embedded precondition space to an embedded postcondition space and propose an algorithm for feedback at scale using these linear maps as features. We apply our algorithm to assessments from the Code.org Hour of Code and Stanford University's CS1 course, where we propagate human comments on student assignments to orders of magnitude more submissions.

研究の動機と目的

• 10万～100万人規模の学生が参加する大規模オンラインコンピュータサイエンスコースにおいて、スケールに応じたパーソナライズドフィードバックを提供する課題に対処すること。
• 機械学習システムで利用可能な、学生のコードの機能的およびスタイル的側面を捉える特徴埋め込み手法を開発すること。
• 学習されたプログラム埋め込みを用いて、人間のインstructerによるフィードバックを多数の学生提出物に自動的に伝達すること。
• Code.orgおよびスタンフォード大学のCS1コースの実世界データセットを用いて、多様なコードの複雑さにおいて有効性を評価すること。
• 実行可能なプログラムの動作（事前条件／事後条件ペアを介して）を意味のあるコード表現を学ぶための教師信号として使用する可能性を検討すること。

提案手法

• 本手法は、共通のユークリッド空間内にプログラムの事前条件と事後条件の統合埋め込みを学習し、各プログラムをこれらの埋め込み状態間の線形変換として表現する。
• 機能的およびスタイル的特徴をエンドツーエンドで学習可能となるように、プログラム埋め込みとメモリ状態を同時に最適化するニューラルネットワークアーキテクチャを採用する。
• 訓練データは、プログラムをさまざまな入力で実行することで生成され、入力出力（事前条件－事後条件）ペアを収集し、埋め込み学習プロセスの教師信号として使用する。
• 非パrametricモデル（NPM）と再帰的ニューラルネットワーク（RNN）を用いて事後条件を予測し、フィードバック伝達を実施し、ホールドアウトセットを用いて性能を評価する。
• 類似したプログラム埋め込みを特定することでフィードバック伝達を実行し、人間が採点した提出物からのコメントを意味的に類似した未採点の提出物に転送する。
• Code.orgのHour of Codeおよびスタンフォードのプログラミングメソドロジー講義のデータセットを用いてモデルを評価し、精度、リコール、サイクロマティック複雑度などの指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 実行可能なプログラムの動作から、機能的およびスタイル的側面を効果的に捉えるプログラム埋め込みを学習できるか？
• RQ2 このような埋め込みを用いて、多数の学生提出物にスケーラブルに人間インstructerのフィードバックを自動的に伝達できるか？
• RQ3 特にサイクロマティック複雑度の観点から、コードの複雑さがモデルの性能に与える影響は何か？
• RQ4 AST編集距離や手作業で設計された特徴量と比較して、本手法はフィードバック伝達タスクでどのように性能を発揮するか？
• RQ5 学習された埋め込みは、異なるプログラミング課題やコース規模にわたってどれほど一般化可能か？

主な発見

• 非パrametricモデル（NPM）は、Code.orgデータセットにおいて、90%の精度で33%のリコールを達成し、ベースライン手法を上回った。
• NPMモデルは、コードの複雑さが増加しても安定したテスト精度を維持したが、RNNモデルは高度に複雑なプログラムでは性能が著しく低下した。
• RNNモデルは単純なプログラム（サイクロマティック複雑度 ≤ 6）では優れた性能を示したが、より複雑なコードでは過学習を起こし、性能が低下した。
• 本手法は、人間が採点した例の数よりも桁違いに多数の提出物に対してフィードバックを伝達できることを示し、スケーラビリティを実証した。
• AST編集距離や手作業で設計された特徴量に基づく従来手法と比較して、埋め込みによるフィードバック伝達の性能向上が顕著に見られた。
• 本手法は、大規模スケール（Code.org、2700万件以上）およびより複雑な（スタンフォードCS1）プログラミング課題において、両方で有効性を示した。