[論文レビュー] Play to Grade: Testing Coding Games as Classifying Markov Decision Process

Allen Nie, Emma Brunskill+1 more|arXiv (Cornell University)|Oct 27, 2021

Reinforcement Learning in Robotics参考文献 38被引用数 4

ひとこと要約

本稿では、強化学習を用いてインタラクティブなコーディング課題を自動で評価する手法であるPlay to Gradeを提案する。この手法は、各課題をマークフ・意思決定過程（MDP）として扱う。学生のプログラムから差分を示す軌道を探索・サンプリングするエージェントを訓練することで、分類器が正しく動作するプログラムとバグのあるプログラムを93.4–94.0%の精度で区別できる。これは、コードテキストのみを用いるベースラインよりも顕著に優れている。

ABSTRACT

Contemporary coding education often presents students with the task of developing programs that have user interaction and complex dynamic systems, such as mouse based games. While pedagogically compelling, there are no contemporary autonomous methods for providing feedback. Notably, interactive programs are impossible to grade by traditional unit tests. In this paper we formalize the challenge of providing feedback to interactive programs as a task of classifying Markov Decision Processes (MDPs). Each student's program fully specifies an MDP where the agent needs to operate and decide, under reasonable generalization, if the dynamics and reward model of the input MDP should be categorized as correct or broken. We demonstrate that by designing a cooperative objective between an agent and an autoregressive model, we can use the agent to sample differential trajectories from the input MDP that allows a classifier to determine membership: Play to Grade. Our method enables an automatic feedback system for interactive code assignments. We release a dataset of 711,274 anonymized student submissions to a single assignment with hand-coded bug labels to support future research.

研究の動機と目的

• オンライン教育プラットフォームにおけるインタラクティブプログラミング課題に対する自動フィードバックの不足を解消すること。
• 従来のユニットテストやコードテキスト分析の限界を克服し、動的でユーザーがインタラクションを行うプログラムの評価を行うこと。
• 静的コード解析に依存せずに、バグを特定するスケーラブルで一般化可能な手法を構築すること。
• リアルタイムで機能的な正しさと微細な動作上のバグを検出できるフィードバックシステムを実現すること。
• 711,274件の匿名化された学生提出物に手動でバグラベルを付与した大規模データセットを公開することで、今後の研究を支援すること。

提案手法

• 各学生プログラムが固有のMDPとして定式化されるように、状態、行動、報酬のダイナミクスを持つMDPとしてインタラクティブコーディング課題を形式化する。
• 学生のプログラムをプレイし、正しく動作するものと破損しているものの間の差を際立たせる軌道をサンプリングする協力的エージェントを訓練する。
• 正例と負例のMDPの軌道を区別できる埋め込みを学習するため、対照学習フレームワーク（Contrastive HoareLSTM）を用いる。
• 10種類の対照的距離関数を用いたマルチ距離投票機構を導入し、最終分類のロバスト性と一般化性能を向上させる。
• 潜在的なバグを露呈する高インパクトの差分軌道を生成するために、事前学習済みの「プレイして勝つ」エージェントを活用する。
• 再現性と今後の研究を支援するため、OpenAI Gym互換環境を設計し、Bounceデータセットを公開する。

実験結果

リサーチクエスチョン

• RQ1 コードテキスト分析に依存せずに、強化学習を用いてインタラクティブな学生プログラムのバグを自動で検出できるか？
• RQ2 協力的エージェントと分類器のフレームワークは、学生のゲームにおける正しく動作するMDPと破損したMDPの間の微細な動作的差を効果的に同定できるか？
• RQ3 実世界のコーディング課題において、軌道ベース分類と従来のコードテキストベースの採点手法の性能を比較すると、どちらが優れているか？
• RQ4 Play to Gradeフレームワークは、ユーザー入力を持つ非ゲーム系のインタラクティブプログラミング課題に対しても、どの程度一般化可能か？
• RQ5 繰り返し学習を実施することで、多様なバグパターンを識別する分類器のロバスト性と精度が向上するか？

主な発見

• Play to Grade手法は、学生のプログラムを正しく動作するものか破損しているものか分類する際、93.4–94.0%の精度を達成し、コードテキストのみのベースラインよりも19–25ポイントも高い。
• 軌道サンプリングを用いた対照学習アプローチは、マジョリティクラスベースライン（50.0%精度）を著しく上回る。
• 本手法はボディ分布では99.6%、テイル分布では97.6%のリCALLを達成しており、実際に破損しているプログラムの検出能力が非常に高いことが示された。
• 偽陽性を最小限に抑えるために、高精度（88.6–91.0%）を維持しながら、ほぼ完璧なリCALLを達成した。
• 一般的な解法とレアな解法を含む、さまざまなプログラム分布にわたって良好な一般化性能を示した。
• 711,274件の提出物と手動でラベル付けされたバグ情報を含むBounceデータセットの公開により、今後の自動フィードバックシステム分野における貴重なベンチマークが提供された。