[論文レビュー] The Mastery Rubric for Statistics and Data Science: promoting coherence and consistency in data science education and training

Rochelle E. Tractenberg, Donna LaLonde+1 more|arXiv (Cornell University)|Aug 15, 2023

Statistics Education and MethodologiesMathematics被引用数 3

ひとこと要約

本論文は、知識・技能・能力（KSAs）を発達段階に沿ってマッピングすることにより、カリキュラム開発と評価を標準化するための統計・データサイエンスの熟達度ルーブリック（MR-SDS）を紹介する。このフレームワークにより、統計、コンピューティング、分野固有の応用分野における学生の自立性と熟達度について、一貫性があり証拠に基づいた評価が可能となり、学部から博士課程に至るまでのデータサイエンス教育の整合性を高める。

ABSTRACT

Consensus based publications of both competencies and undergraduate curriculum guidance documents targeting data science instruction for higher education have recently been published. Recommendations for curriculum features from diverse sources may not result in consistent training across programs. A Mastery Rubric was developed that prioritizes the promotion and documentation of formal growth as well as the development of independence needed for the 13 requisite knowledge, skills, and abilities for professional practice in statistics and data science, SDS. The Mastery Rubric, MR, driven curriculum can emphasize computation, statistics, or a third discipline in which the other would be deployed or, all three can be featured. The MR SDS supports each of these program structures while promoting consistency with international, consensus based, curricular recommendations for statistics and data science, and allows 'statistics', 'data science', and 'statistics and data science' curricula to consistently educate students with a focus on increasing learners independence. The Mastery Rubric construct integrates findings from the learning sciences, cognitive and educational psychology, to support teachers and students through the learning enterprise. The MR SDS will support higher education as well as the interests of business, government, and academic work force development, bringing a consistent framework to address challenges that exist for a domain that is claimed to be both an independent discipline and part of other disciplines, including computer science, engineering, and statistics. The MR-SDS can be used for development or revision of an evaluable curriculum that will reliably support the preparation of early e.g., undergraduate degree programs, middle e.g., upskilling and training programs, and late e.g., doctoral level training practitioners.

研究の動機と目的

• 高等教育機関におけるデータサイエンス教育の不整合を是正すること。
• 発達的進行と自立性に重点を置いた、標準化されたカリキュラム設計フレームワークを提供すること。
• 国際的なコンSENSUSに基づく統計・データサイエンス教育の勧告とデータサイエンスプログラムを一致させること。
• 科学的推論、倫理、再現可能性を明示的かつ観察可能なKSAsとしてカリキュラムに統合することによる支援。
• 学生熟達度の実績に基づく客観的証拠に裏付けられた、内部的および外部的評価の信頼性を高めること。

提案手法

• 熟達度ルーブリック（MR）は、KSAsを行として、発達段階（例：育成段階、進行中、自立的）を列として構成される。
• 各KSAsは、各発達段階における観察可能で成果に基づく基準として記述される。
• 学習科学、認知心理学、教育理論の知見を統合することで、意味のある発達的進行を支援する。
• 統計、計算、あるいは統合的応用に重点を置いたカリキュラムを支援し、プログラムタイプ間での整合性を保証する。
• 学生の成果物を特定の熟達段階に結びつけることで、形成的評価および summative 評価の両方を可能にする。
• 既存のカリキュラム指針（例：NAS 2018、ASA 2016）との整合性を図り、カリキュラムの評価と見直しを容易にする。

実験結果

リサーチクエスチョン

• RQ1 標準化されたルーブリックは、多様な高等教育機関におけるデータサイエンス教育の整合性と一貫性をどのように向上させるか？
• RQ2 統計・データサイエンスにおける自立性に到達するためには、どのような知識・技能・能力（KSAs）の発達段階が必要か？
• RQ3 熟達度ルーブリックは、科学的推論、倫理、再現性をデータサイエンスカリキュラムにどのように統合できるか？
• RQ4 MR-SDSは、どのような方法で、統計中心、計算中心、統合的カリキュラムといった異なるプログラムタイプにおいて、信頼性があり証拠に基づいた学生熟達度の評価を可能にするか？
• RQ5 MR-SDSは、国際的なコンセンサスに基づく勧告とカリキュラムの評価・整合性をどのように促進するか？

主な発見

• 統計・データサイエンスの熟達度ルーブリック（MR-SDS）は、知識・技能・能力の各分野において、カリキュラムの目標と学生の進捗を明確にする構造的で発達的フレームワークを提供する。
• ルーブリックは、明確に観察可能な発達段階における成果物の記述により、学生の自立性を一貫して評価でき、主観的または感覚に基づく評価を超える。
• MR-SDSを採用するプログラムは、カリキュラムの重点（例：統計、計算、分野応用）に関係なく、学生が共通の熟達度水準に到達していることを信頼性を持って示せる。
• MR-SDSは、科学的推論、倫理、再現可能性を訓練の観察可能で評価可能な要素として統合し、コンセンサスに基づく勧告と一致させる。
• MR-SDSを基盤とするカリキュラムは、実績に基づく具体的な作業成果物に依拠した内部的および外部的評価が可能となり、変動的または標本依存の指標に依存するのを減らす。
• 熟達度と自立性を評価する共通の言語を提供するため、MR-SDSは学部、再教育、博士課程を含むすべての段階でのカリキュラム開発と見直しを支援する。