[논문 리뷰] ITM-Rec: An Open Data Set for Educational Recommender Systems

Zheng Yong|arXiv (Cornell University)|2023. 03. 17.

Recommender Systems and Techniques인용 수 6

한 줄 요약

이 논문은 교육적 추천 시스템 분야에서 사용 가능한 개방형 데이터셋인 ITM-Rec을 소개한다. 이 데이터셋은 70개의 항목에 대해 5,230명의 개인 및 1,117개의 그룹 평가를 포함하며, 과정, 학기, 봉쇄 기간 등의 맥락적 메타데이터, 다기준 선호도(앱, 데이터, 용이성), 그리고 인구통계학적/그룹 구성 데이터를 포함한다. 이 데이터셋은 교육 환경에서 맥락 인식형, 다기준, 그룹, 다목적 추천 시스템에 대한 연구를 가능하게 한다.

ABSTRACT

With the development of recommender systems (RS), several promising systems have emerged, such as context-aware RS, multi-criteria RS, and group RS. However, the education domain may not benefit from these developments due to missing information, such as contexts and multiple criteria, in educational data sets. In this paper, we announce and release an open data set for educational recommender systems. This data set includes not only traditional rating entries, but also enriched information, e.g., contexts, user preferences in multiple criteria, group compositions and preferences, etc. It provides a testbed and enables more opportunities to develop and examine various educational recommender systems.

연구 동기 및 목표

• 추천 시스템 연구를 위해 맥락적 요소와 다기준 사용자 선호도를 모두 포함한 종합적인 교육 데이터셋의 부족을 해결하기 위해.
• 교육 분야에서 고급 추천 시스템을 개발하고 평가할 수 있는 테스트베드를 제공하기 위해.
• 실제 교육 데이터를 활용하여 맥락 인식형, 다기준, 그룹, 다목적 추천 시스템에 대한 연구를 가능하게 하기 위해.
• 데이터 관리 및 분석 전공의 대학원생들로부터 익명화된 종단형 데이터를 제공함으로써 개인화 학습 도구 개발을 지원하기 위해.
• 교육 프로젝트 선택 과정에서 회색 양(그레이 숍) 사용자와 그룹 의사결정 역학을 연구할 수 있도록 하기 위해.

제안 방법

• 2017년부터 2022년까지 3개의 과정(DB, DA, DS)에서 활동한 476명의 대학원생들을 대상으로 Qualtrics 설문지를 통해 데이터를 수집하였다.
• 개인 선호도는 종합적 만족도와 앱(응용 분야), 데이터(데이터 처리), 용이성(이용 용이성)의 세 가지 기준에 대한 평가를 통해 수집하였다.
• 각 평가에 대해 과정, 학기(봄/가을), 봉쇄 기간(PRE, DUR, POS) 등의 맥락적 메타데이터를 기록하였다.
• 그룹 선호도는 팀이 토론을 거쳐 하나의 통합 평가를 제출하는 두 번째 설문지를 통해 수집되었으며, 집단적 의사결정 과정을 반영하였다.
• 인구통계학적 정보(나이, 성별, 결혼 상태)와 항목 수준의 특성(제목, URL, 설명)도 수집하고 익명화 처리하였다.
• 데이터셋은 GitHub와 Kaggle에 호스팅된 다섯 개의 파일(Users.csv, Items.csv, Ratings.csv, Group_ratings.csv, Group.csv)로 구성되어 있다.

실험 결과

연구 질문

• RQ1 다양한 학기와 팬데믹 같은 외부 사건(봉쇄 기간)이 포함된 실사용자 평가를 기반으로 교육 환경에서 맥락 인식형 추천 시스템을 어떻게 평가할 수 있는가?
• RQ2 앱, 데이터, 용이성 등의 다기준 선호도는 교육 추천 시스템의 정확성과 개인화 수준을 어느 정도 향상시키는가?
• RQ3 교육 프로젝트 선택 과정에서 그룹 선호도는 개인 선호도와 어떻게 다를 수 있으며, 그룹 의사결정에 영향을 미치는 요인은 무엇인가?
• RQ4 집단 선호도를 개별 입력의 집계를 통해 효과적으로 모델링할 수 있는가?
• RQ5 다목적 추천 시스템은 맥락, 다기준, 그룹 요소를 어떻게 통합하여 교육적 추천을 최적화할 수 있는가?

주요 결과

• ITM-Rec 데이터셋은 70개의 교육적 항목에 대해 476명의 고유 학생으로부터 수집된 5,230개의 개인 평가를 포함하며, 다기준 및 맥락적 메타데이터가 상세히 기록되어 있다.
• 143개의 고유 그룹으로부터 수집된 1,117개의 그룹 평가가 있으며, 그룹 규모는 2명에서 5명으로 다양하여 교육 프로젝트에서의 협업 의사결정 과정을 반영하고 있다.
• 2017년 가을부터 2022년 가을까지의 종단형 데이터를 포함하며, 팬데믹 이전(PRE), 팬데믹 봉쇄(DUR), 팬데믹 이후(POS) 기간을 모두 포함한다.
• 각 평가에 대해 과정(DB, DA, DS), 학기, 봉쇄 상태 등의 맥락 변수가 명시적으로 기록되어 있어 맥락 인식 분석이 가능하다.
• 인구통계학적 및 항목 수준의 메타데이터가 포함되어 있어 교육 추천에서 사용자 다양성과 항목 특성에 대한 연구를 지원한다.
• 이 데이터셋은 GitHub와 Kaggle에 공개되어 있어, 교육 추천 시스템 분야에서 재현 가능한 연구에 널리 접근 가능하다.