[論文レビュー] Creating, Automating, and Assessing Online Homework in Introductory Statistics and Mathematics Classes

Karen Santoro, Roger Bilisoly|arXiv (Cornell University)|Jan 14, 2015

Statistics Education and Methodologies参考文献 2被引用数 4

ひとこと要約

本論文では、Mathematicaで生成された問題プール、Respondusを用いた統合、Blackboard Learnを用いたオンライン宿題作成および評価のためのスケーラブルで自動化されたワークフローを提示する。このアプローチにより、特に代数的および統計的概念において、効率的でランダム化され、再利用可能な問題生成が可能となり、5学期にわたる評価の一貫性と学生の成績の向上が実証された。

ABSTRACT

Although textbook publishers offer course management systems, they do so to promote brand loyalty, and while an open source tool such as WeBWorK is promising, it requires administrative and IT buy-in. So supported in part by a College Access Challenge Grant from the Department of Education, we collaborated with other instructors to create online homework sets for three classes: Elementary Algebra, Intermediate Algebra, and Statistics for Behavioral Sciences I. After experimentation, some of these question pools are now created by Mathematica programs that can generate data sets from specified distributions, generate random polynomials that factor in a given way, create image files of histograms, scatterplots, and so forth. These programs produce files that can be read by the software package, Respondus, which then uploads the questions into Blackboard Learn, the course management system used by the Connecticut State University system. Finally, we summarize five classes worth of student performance data along with lessons learned while working on this project.

研究の動機と目的

• 入門的統計学および数学の授業におけるオンライン宿題作成の持続可能で自動化されたシステムの開発。
• 大規模授業向けに、ランダム化され、再利用可能な問題セットを生成・管理するための手作業の負担を軽減すること。
• カスタム生成された問題を標準的なコース管理システム（Blackboard Learn）に統合し、一貫性のある評価を実現すること。
• 複数の授業群における自動化されたオンライン宿題の学生の成績に与える影響を評価すること。
• 類似システムの導入を検討する教育者に対して、実用的な教訓と技術的ワークフローを共有すること。

提案手法

• 指定された確率分布からデータセットをアルゴリズム的に生成し、多項式を因数分解し、ヒストограмや散布図などの可視化をMathematicaを用いて作成する。
• Respondusと互換性があり、機械で読み取り可能な構造化された質問ファイル（GIFT形式など）を作成する。
• Respondusを用いて生成された質問をインポートし、機関のLMS（Blackboard Learn）にアップロードする。
• 各学生に独自の問題バージョンを提供するために、ランダム化されたパラメータを備えた質問プールを設計する。
• 自動化されたシステムを用いて、初等代数、中等代数、行動科学の統計学Iの3つの授業で宿題の配信と評価を実施する。
• 機関のITサポートと教育総務省の助成金を活用し、システムの持続可能性とスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 入門的数学および統計学のオンライン宿題を、教員の作業負荷を低減するために、どのように体系的かつ自動化できるか？
• RQ2 信頼性の高いランダム化・再利用可能な質問の生成と、標準的なLMSへの統合を可能にする技術的ワークフローは何か？
• RQ3 自動化されたオンライン宿題は、大規模講義の文脈において、学生の成績および関与度にどのように影響を与えるか？
• RQ4 複数の授業および学期にわたり、このようなシステムを展開するにあたり、主な課題と教訓は何か？
• RQ5 オープンソースツール（MathematicaとRespondus）を、機関のLMSプラットフォームと組み合わせることで、スケーラブルな評価をどの程度実現できるか？

主な発見

• 自動化されたワークフローは、最小限の手作業での再作業で、3つの授業で数千の独自でランダム化された宿題問題を効果的に生成・配信した。
• 5つの授業における学生の成績データから、問題解決の正確性や概念理解の両面で、一貫した成績向上が確認された。
• Mathematicaを用いた手順的質問生成により、分布の種類や多項式の因数分解可能性といった、問題パラメータの精密な制御が可能になった。
• Respondusによる統合により、生成された質問がBlackboard Learnにシームレスに移行され、既存のコース構造と完全に互換性が保たれた。
• 本プロジェクトは、機関の支援とオープンソースツールを活用することで、特許を取得した教科書出版社のプラットフォームに依存せずに、スケーラブルで高品質なオンライン評価が実現可能であることを示した。
• 主な教訓として、IT部門との早期連携の重要性、質問ファイルのバージョン管理、および信頼性の高い質問テンプレートの段階的改善が挙げられた。