[논문 리뷰] Team Formation for Scheduling Educational Material in Massive Online Classes

Sanaz Bahargam, Dóra Erdös외 2명|arXiv (Cornell University)|2017. 03. 26.

Scheduling and Timetabling Solutions참고 문헌 32인용 수 5

한 줄 요약

이 논문은 학습 필요도와 마감 기한 제약 조건을 고려하여 대규모 온라인 강좌에서 학생의 학습 효과를 극대화하기 위해 팀 편성과 개인화된 스케줄링을 위한 새로운 알고리즘 CohPart를 제안한다. 팀 편성을 마감 기한 제약 조건이 있는 군집화 문제로 공식화하고, 학습 필요도에 따라 학생들을 그룹화하며 반복 스케줄을 최적화하기 위해 근사적이고 반복적인 접근 방식을 사용한다. 실험 결과, 실제 및 합성 데이터셋에서 무작위 분할 및 k-means보다 유의미하게 뛰어난 성능을 보였다.

ABSTRACT

Whether teaching in a classroom or a Massive Online Open Course it is crucial to present the material in a way that benefits the audience as a whole. We identify two important tasks to solve towards this objective, 1 group students so that they can maximally benefit from peer interaction and 2 find an optimal schedule of the educational material for each group. Thus, in this paper, we solve the problem of team formation and content scheduling for education. Given a time frame d, a set of students S with their required need to learn different activities T and given k as the number of desired groups, we study the problem of finding k group of students. The goal is to teach students within time frame d such that their potential for learning is maximized and find the best schedule for each group. We show this problem to be NP-hard and develop a polynomial algorithm for it. We show our algorithm to be effective both on synthetic as well as a real data set. For our experiments, we use real data on students' grades in a Computer Science department. As part of our contribution, we release a semi-synthetic dataset that mimics the properties of the real data.

연구 동기 및 목표

• 대규모 온라인 강좌에서 효과적인 학생 팀 편성을 통해 동료 학습과 교육 성과를 향상시키는 데 도전하는 것.
• 개별 학생의 필요에 기반하여 교육 콘텐츠의 반복을 최적화하고 고정된 마감 기한을 고려한 개인화된 스케줄링 시스템을 개발하는 것.
• 학급 선택 문제(Cohort Selection problem)를 공식적으로 정의하고, 시간 제약 조건 하에 학생들을 k개의 팀으로 그룹화하여 그들의 집합적 학습 이점을 극대화하는 것.
• 실제 학생 데이터와 준-합성 데이터셋에서 제안된 알고리즘을 평가하여 기준 방법 대비 우수성을 입증하는 것.

제안 방법

• 학생들이 다양한 교육 주제에 대해 필요로 하는 반복 횟수에 따라 팀 편성을 군집화 문제로 공식화한다.
• 학생의 필요도와 마감 기한 제약 조건을 고려하여 각 그룹의 총 학습 이점을 극대화하는 방식으로 군집을 선택하는 근사적이고 반복적인 알고리즘(CohPart)을 제안한다.
• 확장성과 대규모 데이터셋에서의 성능 향상을 위해 후보 군집을 샘플링하는 변형(CohPart_S)을 도입한다.
• 학습 잠재력을 정량화하기 위해 이점 함수(식 5)를 사용하며, 이는 마감 기한 내에 각 학생이 주제를 반복하는 횟수에 기반한다.
• 스케줄 생성 과정을 제어하기 위해 기본값과 단계 파라미터를 적용하여 실현 가능하고 개인화된 반복 스케줄을 보장한다.
• 컴퓨터 과학과에서 수집한 실제 데이터(BUCS)와 실제 학생 행동을 모방하는 준-합성 데이터셋(BUCSSynth)을 사용하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 시간 제약 조건 하에서 학생들을 어떻게 최적의 팀으로 그룹화하여 그들의 집합적 학습 이점을 극대화할 수 있는가?
• RQ2 마감 기한 및 개인의 학습 필요도 제약 조건 하에서 팀 편성 및 스케줄링 문제의 계산 복잡도는 어떻게 되는가?
• RQ3 기본적인 기준 방법인 k-means와 무작위 분할 대비 제안된 알고리즘(CohPart)의 학습 이점 및 확장성 측면에서의 성능 비교는 어떻게 되는가?
• RQ4 지식 기반 군집 패턴이 있는 준-합성 데이터에서 알고리즘이 실제 그룹의 구조를 어느 정도 유지하는가?
• RQ5 실제 및 준-합성 환경에서 마감 기한 길이와 파라미터 설정(기본값 및 단계)에 따라 CohPart의 성능는 어떻게 변화하는가?

주요 결과

• CohPart는 실제(BUCS) 및 준-합성(기본값, 균일, 페어토, 정규, BUCSSynth) 데이터셋을 포함한 모든 데이터셋에서 무작위 분할 및 k-means보다 뚜렷이 뛰어난 학습 이점을 제공한다.
• BUCS 데이터셋에서 학습 이점은 1개에서 10개의 군집으로 증가할 때 급격히 증가하며, 10개를 초과하면 수익 감소 현상이 나타나 최적의 팀 크기는 약 10명임을 시사한다.
• 마감 기한이 평균 총 필요 벡터 길이에 가까울 경우 CohPart는 k-means보다 뚜렷한 성능 우위를 유지한다. k-means는 마감 기한 제약 조건을 무시하기 때문에 성능이 열 劣하다.
• 기본값 데이터셋에서 CohPart는 원래의 그룹 구조를 성공적으로 복원하지만, k-means는 유사한 필요를 가진 학생들을 함께 군집화하지 못한다.
• 대규모 준-합성 BUCSSynth 데이터셋에서도 CohPart는 효과적으로 확장성과 실용성을 입증하여 실제 MOOC 환경에의 적용 가능성을 보여준다.
• 기본값과 단계 파라미터를 증가시킬수록, 특히 다각도나 이질적인 학습 필요 분포에서 CohPart의 성능 향상이 두드러진다.