[論文レビュー] Optimal Academic Plan Derived from Articulation Agreements: A Preliminary Experiment on Human-Generated and (Hypothetical) Algorithm-Generated Academic Plans

David Van Nguyen, Shayan Doroudi+1 more|arXiv (Cornell University)|Jul 10, 2023

Scheduling and Timetabling SolutionsDecision Sciences被引用数 3

ひとこと要約

本研究では、アーティキュレーション協定を用いて、複数の大学の転入要件を満たすために必要なコミュニティカレッジの最小限の授業セットを自動で生成するプロトタイプ最適化ツールを提案する。制御実験において、プロトタイプを使用した学生は、カリフォルニア州のASSISTシステムを使用した学生と比較して、より最適で、より速く、より使いやすい学術計画を立案した。これは、アルゴリズム的支援が転入学計画において価値をもたらすことを示している。

ABSTRACT

Our preliminary experiment examined a potential pain point with ASSIST, California's database of articulation agreements. That pain point is cross-referencing multiple articulation agreements to manually develop an optimal academic plan. Optimal is defined as the minimal set of community college courses that satisfy all transfer requirements for the multiple universities a student is preparing to apply to. Accordingly, we designed a low-fidelity prototype that lists the minimal set of courses a hypothetical optimization algorithm would output based on selected articulation agreements. 24 students were tasked with creating an optimal academic plan using either ASSIST (which requires manual optimization) or the optimization prototype (which already provides the minimal set of classes). Prototype users had less optimality mistakes, were faster, and provided higher usability ratings compared to ASSIST users. Going forward, future research needs to move beyond our proof of value of a hypothetical optimization algorithm and towards actually implementing an algorithm.

研究の動機と目的

• 複数のアーティキュレーション協定を手動で照合して最適な転入学計画を立てる課題に対処すること。
• 転入学要件に基づく授業選択の自動化により、学生の誤りと学術計画に要する時間を削減すること。
• 現行の手動システム（例：ASSIST）と比較して、仮想の最適化アルゴリズムの使いやすさと有効性を評価すること。
• アルゴリズム的支援が、コミュニティカレッジの学生の転入学計画の成果を改善する可能性を実証すること。

提案手法

• 選択された大学の転入学要件をすべて満たす最小限のコミュニティカレッジ授業のセットを計算する最適化アルゴリズムをシミュレートする低解像度プロトタイプを開発した。
• カリフォルニア州ASSISTデータベースからのアーティキュレーション協定を処理し、複数の機関にまたがる重複するか、必須の授業を特定するようにプロトタイプを設計した。
• すべての転入学要件を満たす一方で授業数を最小限に抑えるためのヒューリスティックベースのアプローチを実装した。
• 24名の学生を対象に制御実験を実施し、ASSIST（手動法）またはプロトタイプ（アルゴリズム的支援）を使用するように割り当てた。
• 最適性（授業選択の正確性）、タスクに要した時間、使いやすさ評価の3点でパフォーマンスを測定した。
• 統計的比較を用いて、2条件間でのパフォーマンスおよびユーザーエクスペリエンスの差を評価した。

実験結果

リサーチクエスチョン

• RQ1 プロトタイプのアルゴリズム的ツールは、ASSISTを用いた手動法と比較して、学術計画における最適性の誤りを減らすか？
• RQ2 アルゴリズム的アシスタントは、転入学に適した授業計画を立てるのに要する時間を短縮できるか？
• RQ3 手動計画とアルゴリズム的支援の間で、ユーザー満足度と認識された使いやすさはどのように異なるか？
• RQ4 アルゴリズム的支援は、複数の大学の転入学要件にわたる授業選択の正確性をどの程度向上できるか？

主な発見

• プロトタイプを使用した学生は、ASSISTを使用した学生と比較して、最適性の誤りが著しく少なかった。これは、必須の授業をより正確に特定できたことを示している。
• プロトタイプを使用した学生は、ASSISTを使用した学生よりも、学術計画をより迅速に完了した。これは、効率性の向上を示している。
• プロトタイプを使用した学生は、使いやすさ評価が高く、アルゴリズム的支援の利用がより簡単で満足度が高いと感じた。
• 結果は、アルゴリズム的最適化が、コミュニティカレッジの学生の転入学計画の質とスピードを著しく向上させられることを支持する。