[论文解读] Machine Learning-Powered Course Allocation

Ermis Soumalias, Behnoosh Zamanlooy+2 more|arXiv (Cornell University)|Oct 3, 2022

Online Learning and Analytics被引用 10

一句话总结

本文提出了一种基于机器学习的课程匹配（MLCM）机制，这是一种增强型课程分配方法，通过使用学生特定的、自适应的成对比较查询来改进现有课程匹配（CM）系统中的偏好获取。通过利用机器学习技术对学生的偏好进行迭代优化，MLCM在仅使用十次查询的情况下，将平均学生效用提高了4%–9%，最低效用提高了10%–21%，同时在大规模下保持了策略无关性。

ABSTRACT

We study the course allocation problem, where universities assign course schedules to students. The current state-of-the-art mechanism, Course Match, has one major shortcoming: students make significant mistakes when reporting their preferences, which negatively affects welfare and fairness. To address this issue, we introduce a new mechanism, Machine Learning-powered Course Match (MLCM). At the core of MLCM is a machine learning-powered preference elicitation module that iteratively asks personalized pairwise comparison queries to alleviate students' reporting mistakes. Extensive computational experiments, grounded in real-world data, demonstrate that MLCM, with only ten comparison queries, significantly increases both average and minimum student utility by 7%-11% and 17%-29%, respectively. Finally, we highlight MLCM's robustness to changes in the environment and show how our design minimizes the risk of upgrading to MLCM while making the upgrade process simple for universities and seamless for their students.

研究动机与目标

• 为解决当前课程分配机制在准确获取复杂学生偏好方面的局限性。
• 通过用自适应的、基于机器学习的查询替代静态数值报告，减少偏好获取过程中的报告错误和认知负担。
• 在不牺牲激励相容性的情况下，提升课程分配的效率与公平性。
• 实现在现实大学环境中增强型偏好获取的实用化部署。
• 评估参与基于机器学习的偏好获取模块所带来的个体与系统层面的收益。

提出的方法

• 该机制使用基于初始课程匹配（CM）报告训练的学生特定机器学习模型，生成量身定制的成对比较查询。
• 采用不确定性采样策略自适应选择查询，以最大化关于每位学生真实效用函数的信息增益。
• 在每次响应后实时更新机器学习模型，迭代优化偏好估计。
• 基于更新后的机器学习模型计算最终的课程分配，确保高效且个性化的排课。
• 该机制在大规模下保持了策略无关性，确保学生通过诚实报告获得最优结果。
• 偏好获取过程为异步且学生特定，最大限度减少对分配流程的干扰。

实验结果

研究问题

• RQ1 与最先进的课程匹配机制相比，基于机器学习的偏好获取是否能显著提升课程分配中的学生效用？
• RQ2 MLCM在多大程度上减轻了初始偏好获取过程中报告错误的影响？
• RQ3 成对比较查询的数量在多大程度上影响了MLCM相对于CM的性能提升？
• RQ4 学生参与基于机器学习的偏好获取模块的个体激励是什么？
• RQ5 在不同供给比例和偏好结构下，MLCM的性能如何扩展？

主要发现

• 即使仅使用十次成对比较查询，MLCM相比课程匹配（CM）仍可将平均学生效用提高4%至9%。
• MLCM将最低学生效用提高了10%至21%，显著增强了公平性。
• 选择启用MLCM的机器学习功能的学生，其效用预期相对提升至少7.6%，无论其他学生是否选择启用。
• 超过70%的学生在选择启用MLCM后更倾向于MLCM的课程安排，而选择CM安排的学生不足8.5%。
• 随着报告错误的增加，MLCM与CM之间的性能差距进一步扩大，表明MLCM对初始报告错误具有鲁棒性。
• 该机制在大规模下保持了策略无关性，确保诚实报告始终是学生最优策略。