[論文レビュー] sk_p: a neural program corrector for MOOCs

Yewen Pu, Karthik Narasimhan+2 more|arXiv (Cornell University)|Jul 11, 2016

Software Testing and Debugging Techniques被引用数 4

ひとこと要約

この論文では、MOOCにおける正しく書かれたPythonプログラムのコーパスを学習データとして用いたseq2seqモデルに基づく神経的プログラム修正ツールsk_pを紹介する。このモデルは構文的・意味的誤りの候補修正を生成・検証し、MOOCの課題で29%の修正率を達成した。従来のシンボリック解析や事前定義された探索空間を必要とせず、データ駆動型で生成的な修正を実現するため、手動での誤りモデリングを要しない最先端手法を上回る性能を発揮した。

ABSTRACT

We present a novel technique for automatic program correction in MOOCs, capable of fixing both syntactic and semantic errors without manual, problem specific correction strategies. Given an incorrect student program, it generates candidate programs from a distribution of likely corrections, and checks each candidate for correctness against a test suite. The key observation is that in MOOCs many programs share similar code fragments, and the seq2seq neural network model, used in the natural-language processing task of machine translation, can be modified and trained to recover these fragments. Experiment shows our scheme can correct 29% of all incorrect submissions and out-performs state of the art approach which requires manual, problem specific correction strategies.

研究の動機と目的

• MOOC、特に初心者向けプログラミングコースにおける学生の誤りのあるプログラムに対して、正確で自動化されたフィードバックを提供する課題に対処すること。
• 従来のシンボリックプログラム合成手法が要請する、手動による問題固有の誤りモデルを排除すること。
• 大規模な正しく書かれた学生の提出物のコーパスを活用して、神経モデルによるプログラム修正を学習するスケーラブルでデータ駆動型の手法を開発すること。
• 大規模な探索空間を列挙するのではなく、可能性の高い修正からサンプリングする生成モデルを用いて、高速でリアルタイムの修正を可能にすること。
• MOOCのプログラム修正の文脈において、より複雑な意味的認識モデルよりも、単純で局所的な構文モデルが優れた性能を示すかどうかを実証すること。

提案手法

• 正しく書かれた学生のプログラムからのトークン化された文を用いて、修正可能なコード断片を学習するように変更されたseq2seqニューラルネットワークを訓練する。
• エラー発生箇所の直前・直後の1文ずつを含むスキップグラム風の文脈窓を用い、局所的に候補修正を生成する。
• 各誤りのある文について、モデルが学習した可能性の高い修正の分布からサンプリングすることで、候補プログラムを生成する。
• 正しさの検証には、手作業で作成されたテストスイートを用い、列挙して検証する戦略を採用する。
• 生成モデルの性質を活かして、パッチの大きな明示的探索空間を定義・順位付けする必要を回避する。
• 正しく書かれたプログラムのコーパス上で、正しさが同じテストスイートを用いて検証されるように、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 シンボリック解析を一切行わず、純粋に構文的で局所的なニューラルモデルは、構文的・意味的誤りの両方を効果的に修正できるか？
• RQ2 手動での誤りモデル定義を要するシンボリック手法と比較して、データ駆動型で生成的なアプローチはどの程度優れているか？
• RQ3 1文前の文と1文後の文という最小限の文脈情報で、MOOCにおける正確なプログラム修正が可能か？
• RQ4 正しく書かれたプログラムのコーパスで学習したモデルは、訓練データに直接一致しない誤りのあるプログラムに対しても一般化して修正できるか？
• RQ5 現実のMOOC環境において、ニューラル修正システムの性能は、最先端のシンボリックおよびクラスタリングベースの手法と比べてどの程度か？

主な発見

• sk_pは、MITxの6.00xコースの7つのPythonプログラミング課題において、すべての誤りのある学生提出物の29%を修正した。
• 3つの共通ベンチマークにおいて、sk_pは平均35%の正答率を達成し、手動での誤りモデリングを要する最先端のAutograderシステム（30%正答率）をわずかに上回った。
• 1件あたりの処理は平均5.6秒で実行され、MOOCのフィードバックにリアルタイムで適用可能であることが示された。
• モデルは、誤ったループ構造など、非自明な意味的誤りを正しく特定し、意味的に妥当な代替案を生成することで修正に成功した。
• 訓練データに存在しない「新規の」修正（「fresh」な修正）を発見した。これは、単なるテンプレートマッチングを超えた一般化能力を示している。
• 意味的解析を一切行わず、シンプルで局所的なトークンレベルのモデルであるにもかかわらず、競争力のある性能を示した。これは、MOOCのコードにおける構文的パターンが、修正予測において非常に予測可能性が高いことを示している。