[論文レビュー] Automatic Assessment of the Design Quality of Python Programs with Personalized Feedback

J. Walker Orr, Nathaniel Russell|arXiv (Cornell University)|Jun 2, 2021

Software Engineering Research参考文献 11被引用数 6

ひとこと要約

本論文では、抽象構文木（AST）特徴量と高品質な例との比較を用いて、Pythonプログラムの設計品質を自動的に評価し、個人に合わせたフィードバックを生成するニューラルネットワークアンサンブルモデルを提案する。このシステムは、インstructerが評価した設計スコアを予測する際、83.67%から94.27%の精度を達成し、フィードバック適用後、学生のプログラム設計スコアが平均19.58%向上した。

ABSTRACT

The assessment of program functionality can generally be accomplished with straight-forward unit tests. However, assessing the design quality of a program is a much more difficult and nuanced problem. Design quality is an important consideration since it affects the readability and maintainability of programs. Assessing design quality and giving personalized feedback is very time consuming task for instructors and teaching assistants. This limits the scale of giving personalized feedback to small class settings. Further, design quality is nuanced and is difficult to concisely express as a set of rules. For these reasons, we propose a neural network model to both automatically assess the design of a program and provide personalized feedback to guide students on how to make corrections. The model's effectiveness is evaluated on a corpus of student programs written in Python. The model has an accuracy rate from 83.67% to 94.27%, depending on the dataset, when predicting design scores as compared to historical instructor assessment. Finally, we present a study where students tried to improve the design of their programs based on the personalized feedback produced by the model. Students who participated in the study improved their program design scores by 19.58%.

研究の動機と目的

• 教育現場におけるプログラム設計品質の手動評価は時間と労力を要し、文脈依存的であるため、その課題に対処するため。
• ASTベースの特徴量を用いて、高い精度で設計品質スコアを予測する自動化されたシステムを開発するため。
• 学生がプログラム設計を改善できるように、解釈可能なパーソナライズされたフィードバックを生成するため。
• 制御された研究を通じて、フィードバックの有効性が学生の学習成果に与える影響を評価するため。
• 課題固有のモデルを学習する可能性を検討し、アンサンブル学習を活用して安定性と性能を向上させるため。

提案手法

• モデルは、学生のプログラムのAST表現を入力とし、0から1の間の設計品質スコアを予測する全結合ニューラルネットワークアンサンブルで構成される。
• 各入力特徴量は、関数長、引数の数、グローバル変数の使用など、ASTの統計的分析から得られ、解釈可能性を保証する。
• パーソナライズされたフィードバックは、学生のプログラムにおける各特徴量の値を、高得点プログラムの平均値と比較することで生成され、設計を改善するための増加または減少の提案がなされる。
• 予測の安定性を高めるために、特に「Craps」のような複雑または変動の大きいデータセットにおいて、モデルのアンサンブルが採用されている。
• 課題ごとにモデルを学習することで、文脈に特化した設計基準を反映させ、精度と関連性を向上させている。
• フィードバックは、どの特徴量を調整すべきかを示す人間が読みやすいコメントとして提供され、具体的な改善が可能になる。

実験結果

リサーチクエスチョン

• RQ1 インstructerが評価した学生のPythonプログラムの設計品質を、ニューラルネットワークモデルが正確に予測できるか？
• RQ2 ニューラルネットワークアンサンブルの性能は、単一モデルや従来の重回帰分析と比べてどのように異なるか？
• RQ3 特徴量比較に基づくパーソナライズされたフィードバックは、学生のプログラム設計スコアをどの程度向上させられるか？
• RQ4 課題固有のモデルを学習させることで、単一の汎用モデルよりも高い予測精度が得られるか？
• RQ5 多様なプログラミング課題、特に設計期待値が異なる課題において、モデルの予測はどの程度安定的かつ信頼できるか？

主な発見

• ニューラルネットワークアンサンブルは、異なるデータセットにおいて83.67%から94.27%の予測精度を達成し、特に「Travel」と「Budget」課題で最高の精度を記録した。
• アンサンブルモデルは、単一ニューラルネットワークおよび線形回帰を上回ったが、特に「Craps」データセットでは、単一モデルと比較して誤差を5%削減した。
• パーソナライズされたフィードバックを受けた学生は、平均して19.58%のプログラム設計スコア向上を示し、統計的に有意なp値0.001を示した。
• フィードバック適用後、グローバル変数の使用や「マジックナンバー」の使用といった一般的な設計上の欠陥が顕著に減少した。
• 課題ごとにモデルを学習させた結果、単一モデルよりも優れた性能が得られたことから、精度を高めるために文脈に特化したキャリブレーションが不可欠であると示された。
• システムのフィードバックは効果的かつ解釈可能であり、学生は特徴レベルの提案に基づき的確な改善を実施できた。