[논문 리뷰] Desperately seeking the impact of learning analytics in education at scale: Marrying data analysis with teaching and learning

Olga Viberg, Åke Grönlund|arXiv (Cornell University)|2021. 05. 14.

Online Learning and Analytics인용 수 4

한 줄 요약

이 논문은 대규모 교육에서 학습 분석(LA)의 약속과 실제 영향 사이의 격차를 비판적으로 분석하며, 효과적인 데이터 기반 수업 운영을 위해서는 교사의 필요, 실천 방식, 맥락적 제약 조건에 대한 깊은 이해가 필요하다고 주장한다. 지속 가능한 LA 영향은 데이터 분석을 수업 실천과 맞추기 위해 교사의 디지털화 관련 지식과 기술을 향한 집중적 지원이 필요하다고 제안한다.

ABSTRACT

Learning analytics (LA) is argued to be able to improve learning outcomes, learner support and teaching. However, despite an increasingly expanding amount of student (digital) data accessible from various online education and learning platforms and the growing interest in LA worldwide as well as considerable research efforts already made, there is still little empirical evidence of impact on practice that shows the effectiveness of LA in education settings. Based on a selection of theoretical and empirical research, this chapter provides a critical discussion about the possibilities of collecting and using student data as well as barriers and challenges to overcome in providing data-informed support to educators' everyday teaching practices. We argue that in order to increase the impact of data-driven decision-making aimed at students' improved learning in education at scale, we need to better understand educators' needs, their teaching practices and the context in which these practices occur, and how to support them in developing relevant knowledge, strategies and skills to facilitate the data-informed process of digitalization of education.

연구 동기 및 목표

• 학습 분석(LA)이 데이터 접근성과 연구 관심이 증가하는 상황에서도 대규모 교육 현장에서 아직 측정 가능한 영향을 보이지 않는 이유를 조사하기 위해.
• 교사들이 일상적인 수업 실천에서 데이터 기반 의사결정을 채택하는 데 직면하는 주요 장애 요인과 과제를 특정하기 위해.
• 교사의 필요, 수업 맥락, 기존 실천 방식이 LA 구현의 실현 가능성과 효과성에 어떻게 영향을 미치는지 탐구하기 위해.
• 디지털화된 교육에 LA를 의미 있게 통합하기 위해 교사가 가져야 할 지식, 전략, 기술을 기를 수 있도록 지원하는 프레임워크를 제안하기 위해.
• LA 이니셔티브를 실제 수업 맥락과 교사 역량과 일치시켜 데이터 분석과 수업 실천 사이의 격차를 메우기 위해.

제안 방법

• 학습 분석 분야의 기존 이론적 및 실증적 연구에 대한 비판적 검토를 수행하기 위해.
• 학생 데이터의 가용성과 교사의 수업 및 학습 맥락에서의 실질적 필요 간의 일치 여부를 분석하기 위해.
• LA가 일상적인 수업 실천에 통합되는 데 장애가 되는 기관적 및 수업적 요인을 검토하기 위해.
• 교사의 주도성, 데이터 리터러시, 기관 지원 체계 등을 포함한 LA 구현의 사회기술적 측면에 초점을 맞추기 위해.
• 교사 이해와 실용성을 우선시하고 기술적 데이터 수집을 넘어서는 맥락 민감한 LA 접근 방식을 제안하기 위해.
• LA 도구와 통찰이 실제 교실 환경에서 관련성 있고 사용 가능하도록 하기 위해 교사가 참여하는 공동 설계 과정의 필요성을 강조하기 위해.

실험 결과

연구 질문

• RQ1 다양한 연구와 데이터 접근성이 확대됨에도 불구하고 학습 분석이 대규모 교육 현장에서 아직도 뚜렷한 영향을 보이지 않는 이유는 무엇인가?
• RQ2 교사들이 수업에서 데이터 기반 실천을 채택하는 데 직면하는 주요 장애 요인은 무엇인가?
• RQ3 학습 분 析는 어떻게 교사의 실제 수업 실천과 맥락적 필요에 더 잘 맞출 수 있는가?
• RQ4 디지털화된 교육 환경에서 교사가 학습 분 析를 효과적으로 활용하기 위해 필요한 지원은 무엇인가?
• RQ5 데이터 기반 의사결정은 어떻게 대규모 교사들의 일상적인 루틴에 의미 있게 통합될 수 있는가?

주요 결과

• 학생의 디지털 데이터 접근성이 증가하고 학습 분 析에 대한 관심이 높아지고 있음에도 불구하고, 그 영향이 학업 성취도나 수업 실천에 영향을 미친다는 실증적 증거는 여전히 부족하다.
• 교사들은 종종 학습 분 析 데이터를 효과적으로 해석하고 행동으로 옮기기 위한 필수 지식, 기술, 기관적 지원을 확보하지 못하고 있다.
• 학습 분 析의 효과성은 데이터 가용성과 교사의 실질적 필요 및 수업 맥락 간의 불일치로 인해 크게 제한된다.
• 학습 분 析의 성공적인 구현은 기술적 데이터 시스템을 넘어서 수업 실천, 교사의 주도성, 맥락적 요인에 대한 고려가 필요하다.
• 교사의 데이터 리터러시 향상과 데이터 통찰을 실행 가능한 수업 전략으로 번역할 수 있는 능력 향상을 위한 집중적 지원이 절실하다.
• 현재의 LA 접근 방식은 교실 환경의 복잡성을 간과하고 있어, 실제 교육 현장에서 도구가 부족하게 사용되거나 잘못 적용되는 결과를 낳고 있다.