[논문 리뷰] The Mastery Rubric for Statistics and Data Science: promoting coherence and consistency in data science education and training

Rochelle E. Tractenberg, Donna LaLonde외 1명|arXiv (Cornell University)|2023. 08. 15.

Statistics Education and MethodologiesMathematics인용 수 3

한 줄 요약

이 논문은 통계 및 데이터 과학 교육의 커리큘럼 개발과 평가를 표준화하기 위해 지식, 기술, 능력(KSAs)을 발달 단계에 따라 매핑하는 프레임워크인 통계 및 데이터 과학을 위한 숙달 기준표(MR-SDS)를 소개한다. 이는 통계, 계산, 영역별 응용 분야에서 학생의 자율성과 숙련도에 대한 일관되고 증거 기반 평가를 가능하게 하며, 학부에서 박사 수준에 이르기까지 데이터 과학 교육의 통일성을 지원한다.

ABSTRACT

Consensus based publications of both competencies and undergraduate curriculum guidance documents targeting data science instruction for higher education have recently been published. Recommendations for curriculum features from diverse sources may not result in consistent training across programs. A Mastery Rubric was developed that prioritizes the promotion and documentation of formal growth as well as the development of independence needed for the 13 requisite knowledge, skills, and abilities for professional practice in statistics and data science, SDS. The Mastery Rubric, MR, driven curriculum can emphasize computation, statistics, or a third discipline in which the other would be deployed or, all three can be featured. The MR SDS supports each of these program structures while promoting consistency with international, consensus based, curricular recommendations for statistics and data science, and allows 'statistics', 'data science', and 'statistics and data science' curricula to consistently educate students with a focus on increasing learners independence. The Mastery Rubric construct integrates findings from the learning sciences, cognitive and educational psychology, to support teachers and students through the learning enterprise. The MR SDS will support higher education as well as the interests of business, government, and academic work force development, bringing a consistent framework to address challenges that exist for a domain that is claimed to be both an independent discipline and part of other disciplines, including computer science, engineering, and statistics. The MR-SDS can be used for development or revision of an evaluable curriculum that will reliably support the preparation of early e.g., undergraduate degree programs, middle e.g., upskilling and training programs, and late e.g., doctoral level training practitioners.

연구 동기 및 목표

• 고등교육 프로그램 간 데이터 과학 교육의 이질성 문제를 해결하기 위해.
• 발달적 진행과 자율성을 강조하는 표준화된 커리큘럼 설계 프레임워크를 제공하기 위해.
• 국제적으로 공인된 통계 및 데이터 과학 교육 지침과 데이터 과학 프로그램을 일치시키기 위해.
• 과학적 추론, 윤리, 재현 가능성 요소를 명시적이고 관찰 가능한 KSAs로 통합함으로써 커리큘럼에 통합하기 위해.
• 학생 숙련도에 대한 구체적이고 성과 기반 증거를 바탕으로 한 내부 및 외부 평가의 신뢰성을 확보하기 위해.

제안 방법

• 숙달 기준표(MR)는 KSAs를 행으로, 발달 단계(예: 초기, 진행 중, 독립적)를 열로 구성한다.
• 각 KSAs는 각 발달 수준에서 관찰 가능하고 성과 기반 기준으로 기술된다.
• 학습 과학, 인지 심리학, 교육 이론의 연구 결과를 통합하여 의미 있는 발달적 진행을 지원한다.
• 통계, 계산 또는 다학제 통합을 중시하는 커리큘럼 모두를 지원하여 프로그램 유형 간 일관성을 확보한다.
• 학생의 작업 결과물을 특정 숙달 단계와 연결함으로써 형성적 평가와 요약 평가를 모두 가능하게 한다.
• 기존 커리큘럼 지침(예: NAS 2018, ASA 2016)과의 일치를 가능하게 하며, 커리큘럼 평가 및 개선을 촉진한다.

실험 결과

연구 질문

• RQ1 표준화된 기준표가 다양한 고등교육 프로그램 간 데이터 과학 교육의 일관성과 통일성 향상에 어떻게 기여할 수 있는가?
• RQ2 통계 및 데이터 과학에서 자율성을 달성하기 위해 학생이 가져야 할 지식, 기술, 능력(KSAs)의 발달 단계는 무엇인가?
• RQ3 숙달 기준표는 어떻게 과학적 추론, 윤리, 재현 가능성을 데이터 과학 커리큘럼에 통합할 수 있는가?
• RQ4 MR-SDS는 통계 중심, 계산 중심, 다학제 프로그램 등 다양한 프로그램 유형에서 학생 숙련도에 대한 신뢰성 있고 증거 기반 평가를 어떻게 가능하게 하는가?
• RQ5 MR-SDS는 국제적으로 공인된 지침에 부합하는 커리큘럼 평가 및 일치를 어떻게 지원하는가?

주요 결과

• 통계 및 데이터 과학를 위한 숙달 기준표(MR-SDS)는 지식, 기술, 능력 분야에서 커리큘럼 목표와 학생의 진도를 명확히 드러내는 체계적이고 발달 중심의 프레임워크를 제공한다.
• 이 기준표는 특정 발달 단계에서 관찰 가능한 성과를 기술함으로써 학생의 자율성 평가를 일관되게 가능하게 하며, 주관적 또는 인식 기반 평가를 넘어선다.
• MR-SDS를 사용하는 프로그램은 학생이 핵심 KSAs에서 동일한 수준의 숙련도를 달성함을 신뢰성 있게 입증할 수 있으며, 커리큘럼의 중점(예: 통계, 계산, 다학제 응용)에 관계없이 동일하다.
• MR-SDS는 과학적 추론, 윤리, 재현 가능성을 관찰 가능하고 평가 가능한 교육 요소로 통합함으로써 공인된 지침과 일치시킨다.
• MR-SDS 기반 커리큘럼는 구체적인 작업 결과물을 바탕으로 한 내부 및 외부 평가가 가능하여, 변동성이 크거나 표본에 의존하는 지표에 대한 의존도를 줄인다.
• MR-SDS는 학부, 역량 강화 교육, 박사 수준의 모든 단계에서 커리큘럼 개발 및 개선을 지원하며, 숙달도와 자율성 평가에 공통된 언어를 제공한다.