[論文レビュー] Curricular Analytics: A Framework for Quantifying the Impact of Curricular Reforms and Pedagogical Innovations

Gregory L. Heileman, Chaouki T. Abdallah+2 more|arXiv (Cornell University)|Nov 15, 2018

Online Learning and Analytics参考文献 12被引用数 30

ひとこと要約

本論文は、構造的および指導的要因を分析することで、学生の成績を予測するカリキュラムの複雑さを定量化するフレームワーク「カリキュラム分析」を導入する。カリキュラムをグラフとしてモデル化し、依存関係、必須科目、および科目の影響を測定することで、教育的イノベーションやカリキュラム改革のデータドリブンな評価が可能となり、高インパクトな科目を特定し、学生の進学経路を最適化する体系的な手法を提供する。

ABSTRACT

In this paper we articulate a framework for quantifying the complexity of curricula based on their fundamental structural and instructional properties. We then introduce the notion of curricular analytics as a means of relating curricular complexity to student success outcomes, and we demonstrate the usefulness of curricular analytics by applying them to a number of important problems.

研究の動機と目的

• カリキュラム改革や教育的イノベーションの学生成功への影響を定量化するための形式的フレームワークの構築を目的とする。
• 特に分離された学術環境において、カリキュラム設計が学生の進学に与える影響を測定する体系的なツールの不足に対処することを目的とする。
• 構造的および成績ベースの分析を通じて、カリキュラムにおけるゲートキーパーや基盤的要素としての重要な科目を同定することを目的とする。
• 共通のコース名と共有される指標を用いることで、異なる機関間でのカリキュラム比較を可能にし、改革の評価を向上させることを目的とする。
• 構造的複雑さと学生の成功指標を結びつけることで、カリキュラム設計における証拠に基づいた意思決定を支援することを目的とする。

提案手法

• ノードを科目、エッジを必須科目関係として表す有向無閉路グラフ（DAG）としてカリキュラムをモデル化する。
• 特にインデグリの高い科目や重要なパスの役割を果たす科目を含め、科目の数と接続性に基づく構造的複雑さの指標を定義する。
• 科目の難易度、合格率、学生の成績などの指導的要因を統合し、教育的インパクトを評価する。
• 共通のコース名を用いて、異なる機関間でのカリキュラム表現を標準化し、機関間比較を可能にする。
• グラフ理論的分析を用いて、カリキュラム内でフィルターや基盤的構成要素として機能する「重要」な科目を同定する。
• 構造的分析と指導的分析を統合し、学生の進学に与えるカリキュラム変更全体のインパクトを定量化する統一フレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 構造的および指導的性質を用いて、カリキュラムの複雑さを形式的にどのように定量化できるか？
• RQ2 カリキュラム内で学生の進学に最も大きな影響を与える科目は何か。そして、それらはどのように同定できるか？
• RQ3 カリキュラム分析は、教育的イノベーションや改革の成功をどの程度まで予測できるか？
• RQ4 カリキュラム表現の違い（例：実験科目を別個または統合的に扱うか）は、複雑さの指標にどの程度影響を与えるか？
• RQ5 標準化された共通のコース名を用いることで、異なる機関間でのカリキュラムの自動的大規模比較が可能になるか？

主な発見

• 構造的依存関係と指導的成績を統合することで、本フレームワークはカリキュラムの複雑さを効果的に定量化し、カリキュラムインパクトの体系的評価を可能にした。
• インデグリの中央性が高く、またはゲートキーパーとして機能する（例：合格率が低い）科目は、学生の進学における主要な失敗要因として特定された。
• 異なる機関間で共通のコース構造を持つカリキュラムは、複雑さ指標において測定可能な類似性を示し、機関間ベンチマークの可能性を裏付けた。
• 本フレームワークは、実験科目を分離するなどのカリキュラム表現のわずかな変更が、複雑さスコアにわずかに影響を与えることを明らかにした。これは、構造的モデリングへの感受性を示している。
• 共通のコース名の使用により、カリキュラムのより正確で自動化された比較が可能になり、共通の設計パターンや悪しきパターンの同定が促進された。
• 歴史的成績データを構造的分析と統合することで、特定の学生集団に適合したカリキュラムのカスタマイズが可能となり、プログラムの効果性が向上した。