[논문 리뷰] Optimal Academic Plan Derived from Articulation Agreements: A Preliminary Experiment on Human-Generated and (Hypothetical) Algorithm-Generated Academic Plans

David Van Nguyen, Shayan Doroudi외 1명|arXiv (Cornell University)|2023. 07. 10.

Scheduling and Timetabling SolutionsDecision Sciences인용 수 3

한 줄 요약

이 연구는 캘리포니아 주의 아티큘레이션 협정을 활용하여 여러 대학의 이관 요구사항을 충족시키기 위해 필요한 최소한의 교차 전공 과목을 자동으로 생성하는 프로토타입 최적화 도구를 제안한다. 통제된 실험에서 프로토타입을 사용한 학생들은 캘리포니아 주의 ASSIST 시스템을 사용한 학생들보다 더 최적화된, 더 빠르고 더 사용하기 쉬운 학업 계획을 수립했으며, 이는 이관 계획 수립 시 알고리즘적 보조의 가치를 입증한다.

ABSTRACT

Our preliminary experiment examined a potential pain point with ASSIST, California's database of articulation agreements. That pain point is cross-referencing multiple articulation agreements to manually develop an optimal academic plan. Optimal is defined as the minimal set of community college courses that satisfy all transfer requirements for the multiple universities a student is preparing to apply to. Accordingly, we designed a low-fidelity prototype that lists the minimal set of courses a hypothetical optimization algorithm would output based on selected articulation agreements. 24 students were tasked with creating an optimal academic plan using either ASSIST (which requires manual optimization) or the optimization prototype (which already provides the minimal set of classes). Prototype users had less optimality mistakes, were faster, and provided higher usability ratings compared to ASSIST users. Going forward, future research needs to move beyond our proof of value of a hypothetical optimization algorithm and towards actually implementing an algorithm.

연구 동기 및 목표

• 다수의 아티큘레이션 협정을 수작업으로 교차 참조하여 최적의 이관 계획을 수립하는 과제를 해결하기 위해.
• 이관 요구사항에 기반한 과목 선택을 자동화하여 학생의 오류와 학업 계획에 소요되는 시간을 줄이기 위해.
• 기존 수동 시스템인 ASSIST와 비교하여 가상의 최적화 알고리즘의 사용성과 효과성을 평가하기 위해.
• 학부생들이 커뮤니티 칼리지에서 이관 계획을 수립할 때 알고리즘적 보조가 어떤 잠재력을 지니는지 입증하기 위해.

제안 방법

• 선택된 대학의 모든 이관 요구사항을 충족시키는 최소 과목 수를 계산하는 최적화 알고리즘을 시뮬레이션하는 저해상도 프로토타입을 개발하였다.
• 캘리포니아 주의 ASSIST 데이터베이스에서 아티큘레이션 협정을 처리하고, 여러 기관 간에 겹치는 또는 필수 과목을 식별하도록 프로토타입을 설계하였다.
• 모든 이관 요구사항을 충족시키면서도 과목 수를 최소화하는 히ュ리스틱 기반 접근 방식을 구현하였다.
• 24명의 학생을 대상으로 통제 실험을 실시하였으며, 학생들은 either ASSIST(수동 방법) 또는 프로토타입(알고리즘 보조)을 사용하도록 배정되었다.
• 성과를 최적성(과목 선택의 정확도), 작업 소요 시간, 사용성 평가 점수를 측정하여 평가하였다.
• 통계적 비교를 통해 두 조건 간 성과 및 사용자 경험의 차이를 분석하였다.

실험 결과

연구 질문

• RQ1 프로토타입 알고리즘 도구는 ASSIST를 사용한 수동 방법에 비해 학업 계획에서 최적성 오류를 줄이는가?
• RQ2 알고리즘 보조 도구는 이관 준비 과정 계획 수립에 소요되는 시간을 줄일 수 있는가?
• RQ3 수동 계획과 알고리즘 보조 간 사용자 만족도와 인식된 사용성은 어떻게 비교되는가?
• RQ4 알고리즘 보조는 여러 대학의 이관 요구사항에 걸쳐 과목 선택의 정확도를 어느 정도 향상시키는가?

주요 결과

• 프로토타입 사용자는 ASSIST 사용자보다 최적성 오류가 현저히 적었으며, 이는 요구 과목을 더 정확하게 식별했음을 시사한다.
• 프로토타입을 사용한 학생들은 ASSIST를 사용한 학생들보다 학업 계획을 더 빨리 완료했으며, 이는 효율성 향상을 보여준다.
• 프로토타입 사용자는 더 높은 사용성 평가 점수를 제출하여 알고리즘 보조의 사용이 더 쉬운 것으로 느껴지고 더 만족도가 높다는 것을 시사한다.
• 결과는 알고리즘 최적화가 커뮤니티 칼리지 학생들의 이관 계획 품질과 속도를 크게 향상시킬 수 있다는 가설을 지지한다.