[논문 리뷰] Mining Frequent Learning Pathways from a Large Educational Dataset

Nirmal Patel, Collin Sellman외 1명|arXiv (Cornell University)|2017. 05. 31.

Business Process Modeling and Analysis참고 문헌 3인용 수 6

한 줄 요약

이 논문은 대규모 교육 데이터셋에서 빈번한 학습 경로를 추출하기 위해 이중 단계 접근법을 제안한다. 먼저 편집 거리 기반 알고리즘을 사용해 학습 활동 순서 유사도 기반으로 학생을 군집화한 후, 그래프 기반의 과정 탐색 방법을 적용하여 주목할 만한 높은 빈도의 학습 경로를 드러낸다. 주요 기여는 상호작용 이벤트 로그에서 파생된 방향성 있는 그래프를 반복적으로 필터링하여 학생 학습의 '고속도로'—반복적으로 발생하고 높은 교통량을 보이는 활동의 순서—를 식별함으로써, 복잡한 디지털 학습 환경에서 집단 학습 행동의 해석 가능한 시각화를 가능하게 한다.

ABSTRACT

In this paper, we describe data mining techniques used to extract frequent learning pathways from a large educational dataset. These pathways were extracted as a directed graph that encoded student learning processes. Our dataset contains more than 800 million interactions of over 3 million anonymized students in an online learning platform. Performing process mining on large and complex datasets regularly yields incomprehensible process models. Although, if we cluster data and obtain groups following similar processes, we can greatly improve process mining results. To this end, we developed a sequence clustering algorithm that let us group students who followed similar learning pathways. To extract frequent learning pathways from these clusters of data, we developed a graph-based process discovery algorithm that revealed to us the sequences of learning activities that many students followed. These sequences represented highways of student learning.

연구 동기 및 목표

• 대규모 학생 상호작용 데이터의 과정 마이닝에서 시각적·분석적 이해의 어려움을 해결하기 위해.
• 온라인 학습 플랫폼에서 수백만 건의 학생 상호작용에서 일관되고 높은 빈도의 학습 경로를 식별하기 위해.
• 그래프 기반 분석 이전에 유사한 학생 학습 시퀀스를 군집화하여 복잡성을 줄임으로써 과정 마이닝 결과를 향상시키기 위해.
• 교사 및 설계자가 일반적인 학생 이동 경로를 이해하고 이를 의도된 교육 과정 경로와 비교할 수 있도록 하기 위해.
• 디지털 교육 환경에서 빈번한 학습 경로를 마이닝하고 시각화하기 위한 확장성 있고 오픈소스의 방법을 개발하기 위해.

제안 방법

• 유사한 학습 활동 시퀀스를 가진 학생들을 군집화하기 위해 편집 거리 기반의 시퀀스 군집 알고리즘을 적용하여 모델의 복잡성을 감소시켰다.
• 순차적 활동 전이에서 유도된 방향성 있는 인접 행렬을 구성하였으며, 셀 (i,j)는 학생이 활동 i에서 j로 전이한 횟수를 기록하였다.
• 인접 행렬에서 가중치가 부여된 방향성 있는 그래프를 구축하였으며, 노드는 활동을 나타내고 간선의 가중치는 전이 빈도를 나타내었다.
• 낮은 빈도의 간선을 필터링하여 잡음 제거 및 주목할 만한 고밀도 학습 경로 드러내기 위해 처리하였다.
• 노드의 크기를 차수 비례로, 간선의 두께를 가중치 비례로 설정하여 자주 이용되는 경로를 강조하는 방식으로 그래프를 시각화하였다.
• 가장 긴 학습 경로를 가진 군집(클러스터 3)에 집중하여 고밀도이고 반복적으로 나타나는 학습 고속도로를 탐색하였다.

실험 결과

연구 질문

• RQ1 대규모 교육 데이터셋에서 학생들이 가장 자주 이동하는 학습 활동의 순서는 무엇인가?
• RQ2 수백만 건의 학생 상호작용에서 유도된 과정 모델의 복잡성을 어떻게 줄여 해석 가능한 형태로 만들 수 있는가?
• RQ3 시퀀스 군집화가 과정 마이닝 이전에 유사한 학습 경로를 가진 학생들을 효과적으로 군집화하는 데 유용한가?
• RQ4 그래프 시각화와 간선 필터링은 주목할 만한 학습 경로를 드러내는 데 어떤 역할을 하는가?
• RQ5 발견된 학습 경로는 의도된 교육 과정의 구조와 어떻게 비교될 수 있는가?

주요 결과

• 학습 경로 길이에 따라 세 가지 명확한 학생 군집이 식별되었으며, 각각 짧은 경로(평균 2.80개 활동), 중간 경로(13.72개), 긴 경로(44.85개)였다.
• 가장 긴 경로를 가진 클러스터 3은 3,952명의 학생을 포함했으며, 474개의 노드와 6,662개의 간선를 가진 그래프를 생성하여 높은 경로 복잡성을 나타냈다.
• 낮은 빈도 간선을 필터링한 후 그래프는 명확한 '고속도로'—반복적으로 이용되는 활동의 순서—를 드러내어 주목할 만한 학습 패tern을 해석 가능한 방식으로 표현하였다.
• 필터링된 그래프의 시각화를 통해 연구자들은 세 가지 핵심 활동이 연속적으로 자주 이용되는 것을 확인했으며, 이는 의도된 교육 과정의 구조와도 일치하였다.
• 그래프 기반의 과정 탐색 방법은 '스파aghetti 모델'을 깔끔하고 이해하기 쉬운 집단 학생 행동의 표현으로 성공적으로 전환시켰다.
• 시퀀스 군집화 기법의 오픈소스 R 구현체는 공개되어 있어 재현성과 더 넓은 적용 가능성을 보장한다.