[논문 리뷰] Towards a Recommender System for Undergraduate Research

Felipe del-Rio, Denis Parra외 2명|arXiv (Cornell University)|2017. 06. 20.

Online Learning and Analytics참고 문헌 5인용 수 4

한 줄 요약

이 논문은 학생의 관심을 예측하고 관련 연구 기회를 추천함으로써 학부 연구 참여를 촉진하기 위한 개인화된 추천 시스템을 제안한다. 학생 및 기회 특성에 대해 GBT와 로지스틱 회귀를 사용하여, 참여 가능성 있는 지원자를 식별하는 데 72.7%의 정밀도를 달성하고, 추천 성능은 최대 MAP=0.20에 이를 정도로 높아 학술 기관에 강력한 기초 성능을 제공한다.

ABSTRACT

Several studies indicate that attracting students to research careers requires to engage them from early undergraduate years. Following this paradigm, our Engineering School has developed an undergraduate research program that allows students to enroll in research in exchange for course credits. Moreover, we developed a web portal to inform students about the program and the opportunities, but participation remains lower than expected. In order to promote student engagement, we attempt to build a personalized recommender system of research opportunities to undergraduates. With this goal in mind we investigate two tasks. First, one that identifies students that are more willing to participate on this kind of program. A second task is generating a personalized list of recommendations of research opportunities for each student. To evaluate our approach, we perform a simulated prediction experiment with data from our School, which has more than 4,000 active undergraduate students nowadays. Our results indicate that there is a big potential to create a personalized recommender system for this purpose. Our results can be used as a baseline for colleges seeking strategies to encourage research activities within undergraduate students.

연구 동기 및 목표

• 학부 연구 프로그램의 참여도가 낮은 문제를 해결하기 위해 개인화된 추천 시스템을 개발하여 학생의 참여를 증가시키는 것.
• 학업 및 이력 데이터를 기반으로 연구 기회에 참여할 가능성이 높은 학생을 식별하는 것.
• 개별 학생 프로필에 맞춘 연구 기회를 개인화된 방식으로 추천하는 것.
• 기계 학습을 활용하여 초기 경력 연구 경험에 대한 학생의 참여도를 향상시키는 데의 가능성을 평가하는 것.
• 추천 시스템을 학술 지원 플랫폼에 통합하고자 하는 기관을 위해 기초 성능을 제공하는 것.

제안 방법

• 2012–2016년 기간 동안의 10,546명의 학부 공과대학 학생과 1,017개의 연구 기회, 총 1,624건의 지원 데이터를 포함한 다섯 해 분량의 데이터셋을 사용하였다.
• 학생의 참여 예측을 이진 분류 문제로 설정하였으며, 수강 이수 학기 수, 승인된 학점 수, GPA, 이전 IPre 지원 이력 등의 특징을 활용하였다.
• 연구 기회 추천을 랭킹 문제로 모델링하였으며, 평가 지표로 평균 평균 정밀도(MAP)를 사용하였다.
• 세 가지 특징 세트를 활용: (1) 기본 학업 특징, (2) 교수-수업 상호작용(ht) 추가, (3) 소속 학과의 수업 매칭 추가.
• 다양한 분류기 모델을 훈련하고 비교: 로지스틱 회귀(LogReg), 기울기 부스팅 트리(GBT), 서포트 벡터 머신(SVM).
• 학습-테스트 분할을 통해 2014년 이전 데이터는 학습용, 2014년 이후 데이터는 테스트용으로 활용하였으며, 정확도, 정밀도, F-1 점수, MAP를 성능 평가 지표로 사용하였다.

실험 결과

연구 질문

• RQ1 학생의 학업 프로필을 바탕으로 어떤 학부생이 연구 기회에 참여할 가능성이 높은지 정확하게 예측할 수 있는가?
• RQ2 이전 IPre 지원 이력, GPA, 수업-교수 일치도 등의 특징 중 어느 것이 예측 성능 향상에 가장 기여하는가?
• RQ3 다양한 기계 학습 모델이 학생에게 관련된 연구 기회를 얼마나 효과적으로 추천하는가?
• RQ4 수업 설명과 연구 기회 개요 간의 콘텐츠 유사성 정보를 통합할 경우 추천 품질이 얼마나 향상되는가?
• RQ5 개인화된 추천 시스템이 학부 연구 참여 맥락에서 무작위 추천보다 뚜렷이 뛰어난 성능을 보일 수 있는가?

주요 결과

• 학생 참여 예측에서 가장 우수한 성능을 보인 모델(GBT)은 정확도 92.0%, 정밀도 72.7%, F-1 점수 0.54를 기록하여 기준선을 크게 뛰어넘었다.
• 이전 IPre 지원 이력을 특징으로 포함함으로써 예측 성능 향상이 가장 크게 이루어졌으며, 특히 GPA와 조합했을 때 효과가 두드러졌다.
• 추천 작업에서 가장 우수한 성능을 보인 모델(LogReg with full features)은 평균 평균 정밀도(MAP) 0.20을 달성하였으며, 이는 k=20일 때 무작위 기준선 대비 14.6배 높은 성능이었다.
• 연구 기회를 제공하는 교수가 해당 학생이 수강한 수업이 있었는지 여부를 아는 것(ht 특징)이 추천 성능 향상에 가장 큰 기여를 하였다.
• 소속 학과의 수업 매칭 정보를 추가로 통합함으로써 추천 품질이 추가로 향상되었지만, ht 특징만큼의 영향은 아니었다.
• 결과적으로 개인화된 추천 시스템을 학술 환경에 도입하여 초기 학부 연구 참여를 향상시키는 데 강력한 가능성을 입증하였다.