[논문 리뷰] Curricular Analytics: A Framework for Quantifying the Impact of Curricular Reforms and Pedagogical Innovations

Gregory L. Heileman, Chaouki T. Abdallah외 2명|arXiv (Cornell University)|2018. 11. 15.

Online Learning and Analytics참고 문헌 12인용 수 30

한 줄 요약

이 논문은 학생 성공을 예측하기 위해 구조적 요소와 지도적 요소를 분석함으로써 커리큘럼 복잡성을 정량화하는 프레임워크인 커리큘럼 분석을 소개한다. 커리큘럼을 그래프로 모델링하고 종속성, 선수과목 관계, 과목 영향력을 측정함으로써, 이 프레임워크는 수업 개선 및 커리큘럼 개편에 대한 데이터 기반 평가를 가능하게 하며, 영향력 있는 과목을 식별하고 학생의 진로 경로를 최적화하는 체계적인 방법을 제공한다.

ABSTRACT

In this paper we articulate a framework for quantifying the complexity of curricula based on their fundamental structural and instructional properties. We then introduce the notion of curricular analytics as a means of relating curricular complexity to student success outcomes, and we demonstrate the usefulness of curricular analytics by applying them to a number of important problems.

연구 동기 및 목표

• 커리큘럼 개혁 및 수업 개선이 학생 성공 결과에 미치는 영향을 정량화하기 위한 공식적 프레임워크를 개발하는 것.
• 특히 고립된 학술 환경에서 학생의 진행 상황에 영향을 미치는 커리큘럼 설계의 영향을 측정할 수 있는 체계적 도구의 부족을 해결하는 것.
• 구조적 분석과 성과 기반 분석을 통해 커리큘럼에서 문턱이거나 기초가 되는 과목을 식별하는 것.
• 공통의 과목 이름과 공유되는 지표를 사용하여 교차 기관 간 커리큘럼 비교를 가능하게 하여 개혁 평가를 향상시키는 것.
• 구조적 복잡성과 학생 성공 지표를 연결함으로써 커리큘럼 설계의 증거 기반 의사결정을 지원하는 것.

제안 방법

• 노드가 과목을 나타내고 간선이 선수과목 관계를 나타내는 방향성 비순환 그래프(DAG)로 커리큘럼을 모델링하는 것.
• 특히 높은 진입 차수 또는 핵심 경로 역할을 하는 과목을 중심으로, 과목의 수와 연결성 기반의 구조적 복잡성 지표를 정의하는 것.
• 과목 난이도, 합격률, 학생 성과와 같은 지도적 요소를 통합하여 수업 영향력을 평가하는 것.
• 기관 간 커리큘럼 표현을 표준화하기 위해 공통 과목 이름을 사용하는 것.
• 그래프 이론적 분석을 적용하여 커리큘럼 내에서 필터 역할 또는 기초 구조를 담당하는 '중요한' 과목을 식별하는 것.
• 구조적 분석과 지도적 분석을 통합하여 커리큘럼 변화가 학생 진로에 미치는 총합적 영향을 정량화하는 통합 프레임워크를 만드는 것.

실험 결과

연구 질문

• RQ1 구조적 요소와 지도적 특성을 사용하여 커리큘럼 복잡성을 어떻게 공식적으로 정량화할 수 있는가?
• RQ2 커리큘럼에서 학생의 진로에 가장 큰 영향을 미치는 과목은 무엇이며, 어떻게 식별할 수 있는가?
• RQ3 커리큘럼 분석은 수업 개선이나 개혁의 성공을 어느 정도 예측할 수 있는가?
• RQ4 예를 들어 실험 과목을 별도로 분리하거나 통합하는 방식의 커리큘럼 표현 방식의 차이가 복잡성 지표에 어떤 영향을 미치는가?
• RQ5 표준화된 공통 과목 이름을 사용하면 기관 간 대규모 자동 비교가 가능해지며, 이는 커리큘럼 분석의 정확성을 높이는가?

주요 결과

• 구조적 종속성과 지도적 성과를 통합함으로써 프레임워크는 커리큘럼 복잡성을 성공적으로 정량화하였으며, 커리큘럼 영향력의 체계적 평가를 가능하게 하였다.
• 높은 진입 중심성 또는 '게이트키퍼' 역할을 하는 과목(예: 낮은 합격률)은 학생 진로에서 핵심적인 실패 지점으로 규명되었다.
• 기관 간 공통 과목 구조가 유사한 커리큘럼는 복잡성 지표 측면에서도 유사성을 보였으며, 이는 기관 간 기준 비교의 가능성을 뒷받침하였다.
• 프레임워크는 실험 과목을 분리하는 것과 같은 커리큘럼 표현 방식의 미세한 변화가 복잡성 점수에 약간의 영향을 미칠 수 있음을 드러내었으며, 이는 구조적 모델링에 대한 민감성을 강조하였다.
• 공통 과목 이름의 사용은 커리큘럼 간 더 정확하고 자동화된 비교를 가능하게 하여 공통 설계 패턴과 악성 패턴을 탐색하는 데 기여하였다.
• 역사적 학생 성공 데이터를 구조적 분석과 통합하면 특정 학생 집단에 맞는 커리큘럼를 맞춤형으로 조정할 수 있으며, 이는 프로그램의 효과성을 향상시킬 수 있다.