[論文レビュー] Computing with Codio at Coventry University: Online virtual Linux boxes and automated formative feedback

David Croft, Matthew England|arXiv (Cornell University)|Dec 10, 2018

Online Learning and Analytics参考文献 3被引用数 4

ひとこと要約

本論文は、コヴィントリー大学が、オンライン仮想Linux環境と自動形式的フィードバックを提供するクラウドベースのプラットフォーム「Codio」を、学部のプログラミングカリキュラムに統合したことを紹介する。このシステムは、学生のコードを自動テストすることで即時かつ一貫したフィードバックを提供し、学生の成績向上、満足度の向上、関与度の追跡が実現されたが、機関の規制や初期開発の負担といった課題も伴った。

ABSTRACT

We describe our experience using Codio at Coventry University in our undergraduate programming curriculum. Codio provides students with online virtual Linux boxes, and allows staff to equip these with guides written in markdown and supplemental tasks that provide automated feedback. The use of Codio has coincided with a steady increase in student performance and satisfaction as well as far greater data on student engagement and performance.

研究の動機と目的

• 大規模なプログラミング科目における一貫性の欠如、遅延、リソース集約的な形式的フィードバックの問題を解決すること。
• 480人を超える1年次学生を対象とした入門的プログラミングコースにおける学生の関与度と成績を向上させること。
• 多様な教員と学生のスキルレベルにわたって一貫した即時フィードバックを提供すること。
• 時間の集中度とタスク完了状況の自動追跡を通じて、学生の進捗状況をより効果的にモニタリングすること。

提案手法

• すべての学生が標準化された開発環境として使用できる、Codioのクラウドベースの仮想Linuxマシンの導入。
• 埋め込まれたコーディングタスクが自動フィードバックをトリガーする、インタラクティブなマークダウン形式のガイドの作成。
• ユニットテストを用いた自動テストによる、学生のコード提出をリアルタイムで評価する仕組みの実装。
• 機関の制限にもかかわらず、大学の既存のバーチャルラーニング環境（VLE）とCodioを統合し、コース管理を実現。
• Codioの分析機能を活用して、学生の関与度を追跡し、週ごとの作業時間とタスク完了率を把握。
• 大学の自社Moodleインfraストラクチャ内に統合された、ユニットテストを用いた自動要約評価のための補完的ツール「Coderunner」の導入。

実験結果

リサーチクエスチョン

• RQ1 クラウドベースの仮想環境における自動形式的フィードバックは、大規模な学部レベルのプログラミング科目における学生の成績向上に寄与するか？
• RQ2 伝統的なラボベースの教育法と比較して、Codioの使用は学生の関与度と満足度にどのように影響を与えるか？
• RQ3 自動フィードバックは、評価の一貫性を保ちながら、教員の負担をどの程度軽減できるか？
• RQ4 大学の既存の教育インfraストラクチャに、Codioのような第三者プラットフォームを統合するにあたり、どのような機関的・技術的課題が生じるか？

主な発見

• Codio導入後、平均成績が著しく向上し、クイズ成績は57％から63％、試験成績は51％から59％に上昇した。
• 学生満足度は82％から89％に上昇し、自由記述欄の84％がCodioに対して肯定的であった。
• 関与度の追跡により、週ごとの作業時間データが詳細に得られ、個々の学生の活動パターンが時間経過とともに可視化された。
• 事前にプログラミング経験がある学生は、好まないIDEの使用制限のため、Codioに対して批判的である傾向にあった。これは、標準化と柔軟性の間のトレードオフを示している。
• 技術的・管理的障壁が存在したが、Codioは12名の異なる教員と40回のラボセッションをカバーする一貫性がありスケーラブルなフィードバックを実現した。
• 現在、大学ではCodioの評価エンジンの代替として、自社でホスティングされたオープンソースツール「Coderunner」を活用し、要約評価の自動化を拡張している。