[논문 리뷰] Machine Learning-Powered Course Allocation

Ermis Soumalias, Behnoosh Zamanlooy외 2명|arXiv (Cornell University)|2022. 10. 03.

Online Learning and Analytics인용 수 10

한 줄 요약

이 논문은 학생별로 맞춤화된 쌍별 비교 질의를 사용하여 기존 Course Match(CM) 시스템에 비해 선호도 수집을 향상시키는 기계학습 기반 강화 코스 배정(Machine Learning-powered Course Match, MLCM)을 제안한다. 기계학습을 활용해 학생의 선호도를 반복적으로 정밀화함으로써, 단지 열 번의 질의로도 평균 학생 유용성을 4%-9% 향상시키고 최소 유용성을 10%-21% 향상시키며, 대규모에서 전략적 비호소성(Strategyproofness)을 유지한다.

ABSTRACT

We study the course allocation problem, where universities assign course schedules to students. The current state-of-the-art mechanism, Course Match, has one major shortcoming: students make significant mistakes when reporting their preferences, which negatively affects welfare and fairness. To address this issue, we introduce a new mechanism, Machine Learning-powered Course Match (MLCM). At the core of MLCM is a machine learning-powered preference elicitation module that iteratively asks personalized pairwise comparison queries to alleviate students' reporting mistakes. Extensive computational experiments, grounded in real-world data, demonstrate that MLCM, with only ten comparison queries, significantly increases both average and minimum student utility by 7%-11% and 17%-29%, respectively. Finally, we highlight MLCM's robustness to changes in the environment and show how our design minimizes the risk of upgrading to MLCM while making the upgrade process simple for universities and seamless for their students.

연구 동기 및 목표

• 현재 코스 배정 기제가 복잡한 학생 선호도를 정확히 수집하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 정적 값 보고 방식을 대체하여 적응형 기계학습 기반 질의를 도입함으로써 선호도 수집 과정에서의 보고 오류와 인지적 부담을 줄이기 위해.
• 인centive compatibility를 희생시키지 않은 채 할당 효율성과 공정성을 향상시키기 위해.
• 실제 대학 환경에서 향상된 선호도 수집 기능의 실용적 구현을 가능하게 하기 위해.
• 기계학습 기반 선호도 수집 모듈에 참여하는 데서 개인 및 체계적 이점에 대해 평가하기 위해.

제안 방법

• 기계학습 모델은 초기 Course Match(CM) 보고서를 기반으로 각 학생별로 훈련되어 맞춤형 쌍별 비교 질의를 생성한다.
• 불확실성 샘플링 전략을 사용해 각 학생의 진정된 유용성 함수에 대한 정보 수확을 최대화하는 방식으로 질의를 적응적으로 선택한다.
• 각 응답 이후 실시간으로 기계학습 모델을 업데이트하여 선호도 추정치를 반복적으로 정밀화한다.
• 최종 코스 배정은 업데이트된 기계학습 모델을 기반으로 계산되어 효율적이고 개인화된 스케줄링을 보장한다.
• 기계학습 기반 기제는 대규모에서 전략적 비호소성을 유지하여 학생들이 정직한 보고가 최적의 전략임을 보장한다.
• 선호도 수집은 이면에서 비동기적으로 이루어지고 학생별로 맞춤화되어 있어 할당 과정의 방해를 최소화한다.

실험 결과

연구 질문

• RQ1 기계학습 기반 선호도 수집 방식은 최신 기술인 Course Match 기반 시스템에 비해 코스 배정에서 학생의 유용성을 크게 향상시킬 수 있는가?
• RQ2 MLCM는 초도 선호도 수집 과정에서 발생하는 보고 실수의 영향을 어느 정도 줄일 수 있는가?
• RQ3 쌍별 비교 질의의 수가 CM 대비 MLCM의 성능 향상에 어떤 영향을 미치는가?
• RQ4 학생들이 기계학습 기반 선호도 수집 모듈에 참여할 개인적 동기는 무엇인가?
• RQ5 다양한 공급 비율과 선호도 구조 하에서 MLCM의 성능은 어떻게 스케일링되는가?

주요 결과

• MLCM는 단지 열 번의 쌍별 비교 질의로도 Course Match 대비 평균 학생 유용성을 4%에서 9%까지 향상시킨다.
• MLCM는 최소 학생 유용성을 10%에서 21%까지 향상시켜 공정성 향상에 기여한다.
• MLCM의 기계학습 기능에 참여한 학생들은 다른 이들이 참여하든 말든 기대 상대적 유용성 향상률이 최소 7.6% 이상이다.
• 참여한 학생의 70% 이상이 MLCM 스케줄을 CM 스케줄보다 선호하는 반면, CM 스케줄을 선호하는 학생은 8.5% 미만이다.
• 보고 실수가 증가할수록 MLCM과 CM 간의 성능 격차가 더욱 벌어지며, 이는 MLCM가 초도 보고 실수에 대해 강건함을 보여준다.
• 기계학습 기반 기제는 대규모에서 전략적 비호소성을 유지하여 학생들이 정직한 보고가 최적의 전략임을 보장한다.