[논문 리뷰] A Combined Approach of Process Mining and Rule-based AI for Study Planning and Monitoring in Higher Education

Miriam Wagner, Hayyan Helal외 8명|arXiv (Cornell University)|2022. 01. 01.

Business Process Modeling and Analysis인용 수 1

한 줄 요약

이 논문은 캠퍼스 관리 시스템(CMS) 데이터와 공식적인 수업 프로그램 규정을 기반으로 학생의 학습 경로를 분석하기 위해 프로세스 마이닝과 규칙 기반 AI를 융합한 하이브리드 프레임워크를 제안한다. 이전 데이터에서 패턴을 추출하기 위해 프로세스 마이닝을 적용하고, 이벤트 계산과 답변 집합 프로그래밍을 통해 규칙 기반 AI(예: 준수 검사 및 추천 생성)를 활용함으로써, 실시간 준수 검사와 학생을 위한 개인 맞춤형 학습 계획 수립, 프로그램 설계자들을 위한 커리큘럼 분석이 가능해진다.

ABSTRACT

This paper presents an approach of using methods of process mining and rule-based artificial intelligence to analyze and understand study paths of students based on campus management system data and study program models. Process mining techniques are used to characterize successful study paths, as well as to detect and visualize deviations from expected plans. These insights are combined with recommendations and requirements of the corresponding study programs extracted from examination regulations. Here, event calculus and answer set programming are used to provide models of the study programs which support planning and conformance checking while providing feedback on possible study plan violations. In its combination, process mining and rule-based artificial intelligence are used to support study planning and monitoring by deriving rules and recommendations for guiding students to more suitable study paths with higher success rates. Two applications will be implemented, one for students and one for study program designers.

연구 동기 및 목표

• 유연하지 못한 수업 프로그램이 학생들의 실제 생활 제약과 충돌하는 높은 교육 분야에서 개인 맞춤형 학습 계획 수립의 과제를 해결하기 위해.
• 이전 데이터에서 유도된 효과적인 학습 경로를 식별하고 추천함으로써 학생의 성공률을 향상시키기 위해.
• 커리큘럼 효과성과 권장 계획에서의 이탈 여부에 대한 데이터 기반 통찰을 제공함으로써 수업 프로그램 설계자들을 지원하기 위해.
• 학생용(StudyBuddy)과 프로그램 설계자용(BuddyAnalytics)의 이중 응용 프로그램을 개발하여, 공식 규칙과 프로세스 마이닝에 기반한 시스템을 제공하기 위해.
• 정적 규정의 한계를 극복하기 위해 데이터 기반 추천과 동적 준수 검사를 통합하기 위해.

제안 방법

• 캠퍼스 관리 시스템에서의 이벤트 로그를 대상으로 프로세스 마이닝 기법(예: DFG 마이닝, 프로세스 발견)을 적용하여 일반적이고 성공적인 학습 경로를 모델링한다.
• 학점 기준, 모듈 선수강 조건, 시험 순서 등 수업 프로그램 규정을 이벤트 계산과 답변 집합 프로그래밍을 사용해 규칙 기반 지식 기반으로 추출하고 형식화한다.
• 의무적 요구사항(예: 학점 기준)과 선택적 추천(예: 최적의 과목 순서)을 모두 포함하는 논리적 규칙으로 학습 계획을 모델링한다.
• 개별 학생의 이벤트 로그를 형식화된 수업 프로그램 모델과 비교하여 준수 검사를 수행함으로써 이탈 여부를 탐지한다.
• 프로세스 마이닝 결과를 활용해 데이터 기반 추천(예: 'X 과목을 Y 과목 이전에 수강한 학생들이 높은 합격률을 보였다')을 생성하여 공식 규칙을 보완한다.
• StudyBuddy(학생이 계획을 검증하고 개선할 수 있도록)와 BuddyAnalytics(설계자가 커리큘럼 패턴과 이탈 여부를 분석할 수 있도록)의 두 가지 응용 프로그램을 구현한다.

실험 결과

연구 질문

• RQ1 캠퍼스 관리 시스템 데이터의 프로세스 마이닝을 통해 높은 교육 분야에서 성공적인 학습 경로의 패턴을 어떻게 파악할 수 있는가?
• RQ2 규칙 기반 AI가 시험 규정과 모듈 요구사항을 얼마나 정밀하게 형식화하여 학생 계획의 자동 준수 검사를 가능하게 할 수 있는가?
• RQ3 프로세스 마이닝에서 도출된 데이터 기반 추천은 공식 규칙을 어떻게 보완하여 학생들이 더 높은 성공률을 달성하도록 이끌 수 있는가?
• RQ4 형식화된 학습 모델과 실제 학생의 행동(이벤트 로그 기반)을 비교함으로써 수업 프로그램 설계자들이 어떤 통찰을 얻을 수 있는가?
• RQ5 프로세스 마이닝과 규칙 기반 AI의 통합은 학습 계획 및 모니터링 도구의 정확성과 사용성은 어떻게 향상시킬 수 있는가?

주요 결과

• CMS 데이터의 프로세스 마이닝을 통해 성공적인 학습 경로의 패턴이 성공적으로 파악되었으며, 높은 합격률과 관련된 과목의 최적 순서도 확인되었다.
• 규칙 기반 AI와 형식화된 시험 규정을 통합함으로써 정밀한 준수 검사가 가능해졌으며, 예를 들어 선수강 조건 누락이나 잘못된 학점 누적 등의 계획 위반 사항이 탐지되었다.
• 데이터 기반 추천(예: 통계를 데이터 과학 이전에 수강하는 것이 긍정적인 영향을 미친다)이 추출되어 공식 수업 계획을 향상시키는 데 활용될 수 있었다.
• 초기 평가에서 시스템의 실현 가능성이 입증되었으며, 학생과 교직원 모두가 제공된 피드백의 품질과 관련성에 대해 긍정적인 반응을 보였다.
• 기존의 시험 및 성적 로그에 수강 데이터를 추가함으로써 학생의 의도를 더 정확하게 모델링할 수 있었고, 계획된 학습 행동과 실제 행동 간의 괴리 또한 드러났다.
• 하이브리드 접근법은 규제 준수를 보장하는 불변 규칙(예: 규정 준수)과 학생 또는 관리자 기반의 변동 규칙(예: 개인 맞춤형)을 모두 수용함으로써, 유연하면서도 준수를 유지하는 개인 맞춤형 계획 수립이 가능하게 하였다.