[논문 리뷰] Personalized Recommendations in EdTech: Evidence from a Randomized Controlled Trial

Keshav Agrawal, Susan Athey외 2명|arXiv (Cornell University)|2022. 08. 30.

Recommender Systems and Techniques인용 수 10

한 줄 요약

이 연구는 인도의 어린이들이 영어 독해 능력을 기르기 위해 사용하는 EdTech 앱에서 개인화된 콘텐츠 추천의 효과를 랜덤화된 대조 시험을 통해 평가한다. 사용자 선호도와 상호작용 이력 기반으로 스토리 추천을 위한 행렬 분해 모델을 사용한 결과, 개인화된 섹션의 참여도는 60% 증가했고, 전체 앱 사용 시간은 14% 증가했으며, 특히 활동 빈도가 높은 사용자와 특수한 콘텐츠를 선호하는 사용자가 가장 큰 이점을 얻었다.

ABSTRACT

We study the impact of personalized content recommendations on the usage of an educational app for children. In a randomized controlled trial, we show that the introduction of personalized recommendations increases the consumption of content in the personalized section of the app by approximately 60%. We further show that the overall app usage increases by 14%, compared to the baseline system where human content editors select stories for all students at a given grade level. The magnitude of individual gains from personalized content increases with the amount of data available about a student and with preferences for niche content: heavy users with long histories of content interactions who prefer niche content benefit more than infrequent, newer users who like popular content. To facilitate the move to personalized recommendation systems from a simpler system, we describe how we make important design decisions, such as comparing alternative models using offline metrics and choosing the right target audience.

연구 동기 및 목표

• 실제 EdTech 앱 환경에서 어린이들이 영어를 배우는 데에 개인화된 콘텐츠 추천이 사용자 참여도에 미치는 영향을 평가하기 위해.
• 개인화된 추천이 학습 앱 사용을 이끄는 데 있어 인간 편집자가 선별한 편집 콘텐츠보다 우월한지 평가하기 위해.
• 사용자 하위군 간 치료 효과의 이질성, 특히 사용 빈도와 콘텐츠 선호도에 따라 어떻게 달라지는지 이해하기 위해.
• 저데이터 교육 환경에서 개인화된 추천 시스템을 설계하고 구현하기 위한 실용적 프레임워크를 제공하기 위해.
• 학습 성과 지표를 측정하기 어려운 환경에서 참여도 중심 추천이 장기적 학습 결과를 대체로 활용할 수 있는지 탐색하기 위해.

제안 방법

• 치료군은 개인화된 추천을, 대조군은 편집자가 선별한 콘텐츠를 받는 두 주간의 랜덤화된 대조 시험(RCT)을 실시했다.
• 사용자 상호작용 이력과 선호도 기반으로 개인화된 스토리 추천을 생성하기 위해 행렬 분해 모델을 사용했다.
• 인プレ션 빈도 기반으로 스토리 인기 박스를 구성하고, 사용자 수준의 공변량(학년, 유형, 과거 사용 기록)을 조정하기 위해 선형 회귀를 사용하여 치료 효과를 분리했다.
• 다양한 사용자 및 콘텐츠 하위군에서 시간 소비와 완료율을 반영하는 복합 지표인 '스토리 참여도'를 사용해 참가도를 측정했다.
• 배포 이전에 모델 선택을 위한 지표인 RMSE와 AUC를 사용해 오프라인 모델 성능을 평가했다.
• 개인화된 섹션 사용 증가가 총 참여도에 순수한 증가 효과를 가져오는지 확인하기 위해 전체 앱 사용 시간에 대한 영향을 평가했다.

실험 결과

연구 질문

• RQ1 개인화된 콘텐츠 추천이 편집 콘텐츠 대비 교육 앱에서 사용자 참여도를 높이는가?
• RQ2 사용 패턴과 콘텐츠 선호도가 다른 사용자 하위군에서 치료 효과는 어떻게 달라지는가?
• RQ3 개인화된 추천이 인기 콘텐츠와 비인기 콘텐츠 양쪽에서 참여도를 얼마나 높이는가?
• RQ4 저데이터 EdTech 환경에서 효과적인 추천 시스템을 구현하기 위해 필수적인 설계 선택과 평가 방법은 무엇인가?
• RQ5 학습 성과 지표를 측정하기 어려운 환경에서 참여도 중심 추천이 학습 결과를 대체로 활용할 수 있는가?

주요 결과

• 개인화된 추천은 대상 콘텐츠 섹션의 참여도를 60% 증가시켰다(p < 0.05), 표준 오차는 17%였다.
• 치료군은 편집 기반 기준 대비 전체 앱 사용 시간이 14% 증가하여 순수한 긍정적인 참여도 효과를 보였다.
• 다량의 상호작용 이력이 있는 중간 이상 사용자들은 선호도 모델링이 더 잘 되어 개인화로 인한 이득이 특히 크게 나타났다.
• 실험 이전에 비인기 콘텐츠를 선호하던 사용자들은 개인화된 추천으로 인해 가장 높은 상대적 이득을 보였다. 이는 덜 인기 있는 스토리를 발견할 수 있도록 도왔다.
• 낮은 이전 인기도를 가진 스토리들에 대해서도 치료 효과가 뚜렷하게 나타나, 개인화가 비인기 콘텐츠를 효과적으로 노출시킨다는 점을 시사한다.
• 사용자 상호작용 데이터가 많을수록 모델 성능과 추천 품질이 향상됨을 확인했으며, 이는 신규 사용자와 신규 스토리에 대한 한계를 드러낸다.