[論文レビュー] Machine Learning-Powered Course Allocation

Ermis Soumalias, Behnoosh Zamanlooy+2 more|arXiv (Cornell University)|Oct 3, 2022

Online Learning and Analytics被引用数 10

ひとこと要約

本論文は、学生固有の適応的対比較クエリを用いて、既存の Course Match (CM) システムよりも優れた好みの特定を実現する、機械学習を活用したコースマッチング（MLCM）を提案する。機械学習を用いて好みを段階的に精緻化することで、MLCMはわずか10回のクエリで平均学生効用を4%〜9%、最小効用を10%〜21%向上させつつ、大規模な戦略的不正を防ぐ。

ABSTRACT

We study the course allocation problem, where universities assign course schedules to students. The current state-of-the-art mechanism, Course Match, has one major shortcoming: students make significant mistakes when reporting their preferences, which negatively affects welfare and fairness. To address this issue, we introduce a new mechanism, Machine Learning-powered Course Match (MLCM). At the core of MLCM is a machine learning-powered preference elicitation module that iteratively asks personalized pairwise comparison queries to alleviate students' reporting mistakes. Extensive computational experiments, grounded in real-world data, demonstrate that MLCM, with only ten comparison queries, significantly increases both average and minimum student utility by 7%-11% and 17%-29%, respectively. Finally, we highlight MLCM's robustness to changes in the environment and show how our design minimizes the risk of upgrading to MLCM while making the upgrade process simple for universities and seamless for their students.

研究の動機と目的

• 現在のコースマッチングメカニズムが、複雑な学生の好みを正確に特定できないという限界を是正すること。
• 静的価値報告の代わりに、適応的で機械学習駆動のクエリを導入することで、好みの特定における報告ミスと認知的負担を低減すること。
• インcentive compatibility（インcentive適合性）を損なわず、割り当て効率と公平性を向上させること。
• 実世界の大学環境における、強化された好みの特定の実用的導入を可能にすること。
• MLを活用した好みの特定モジュールへの参加が、個人およびシステム全体に与える利点を評価すること。

提案手法

• メカニズムは、初期の Course Match (CM) レポートに基づいてトレーニングされた学生固有の機械学習モデルを用い、カスタマイズされた対比較クエリを生成する。
• 各学生の真の効用関数に関する情報量を最大化するために、不確実性サンプリング戦略を用いてクエリを適応的に選択する。
• 各回答後にリアルタイムでMLモデルを更新し、好みの推定値を段階的に精緻化する。
• 最終的なコースマッチングは、更新されたMLモデルに基づいて計算され、効率的かつパーソナライズされたスケジューリングを実現する。
• 戦略的不正性を大規模に維持し、学生が真実を述べることが最適であることを保証する。
• 好みの特定は非同期的かつ学生固有であり、マッチングプロセスへの干渉を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 機械学習に基づく好みの特定は、最先端の Course Match メカニズムと比較して、コースマッチングにおける学生の効用を著しく向上させることができるか？
• RQ2 MLCMは、初期の好みの特定段階で生じる報告ミスの影響をどの程度低減するか？
• RQ3 対比較クエリの数は、CMと比較してMLCMのパフォーマンス向上にどの程度影響を与えるか？
• RQ4 学生がMLを活用した好みの特定モジュールに参加する個人的インcentiveは何か？
• RQ5 供給比や好みの構造が異なる条件下で、MLCMのパフォーマンスはどのようにスケーリングするか？

主な発見

• MLCMは、わずか10回の対比較クエリで、Course Match と比較して平均学生効用を4%〜9%向上させる。
• MLCMは最小学生効用を10%〜21%向上させ、公平性が著しく向上する。
• MLCMのML機能に参加する学生は、他の学生が参加するかどうかに関わらず、期待される相対的効用向上が少なくとも7.6%に達する。
• 70%を超える学生が、MLCMのスケジュールをCMのスケジュールよりも好む一方、8.5%未満の学生がCMのスケジュールを好む。
• 報告ミスが増えるほど、MLCMとCMのパフォーマンスギャップが拡大するため、MLCMの初期報告ミスに対するロバストネスが示された。
• メカニズムは大規模な戦略的不正性を維持しており、真実を述べることが学生にとって最適であることを保証する。