[논문 리뷰] Digital interventions and habit formation in educational technology

Keshav Agrawal, Susan Athey외 2명|arXiv (Cornell University)|2023. 10. 16.

Child Development and Digital Technology인용 수 4

한 줄 요약

이 연구는 인도의 영어 독서 앱에서 진행된 경쟁 기반 디지털 간섭 효과를 평가하며, 12주간의 랭킹 경쟁과 도서 상을 제공한 결과, 간섭 후 스토리 소비가 75% 증가했고 유저 유지를 1.3个百分点 향상시켰으며, 이러한 게임화된 인centives가 내재된 독서 동기를 억압하지 않고도 지속 가능한 독서 습관을 형성하는 데 성공적일 수 있음을 시사한다.

ABSTRACT

As online educational technology products have become increasingly prevalent, rich evidence indicates that learners often find it challenging to establish regular learning habits and complete their programs. Concurrently, online products geared towards entertainment and social interactions are sometimes so effective in increasing user engagement and creating frequent usage habits that they inadvertently lead to digital addiction, especially among youth. In this project, we carry out a contest-based intervention, common in the entertainment context, on an educational app for Indian children learning English. Approximately ten thousand randomly selected learners entered a 100-day reading contest. They would win a set of physical books if they ranked sufficiently high on a leaderboard based on the amount of educational content consumed. Twelve weeks after the end of the contest, when the treatment group had no additional incentives to use the app, they continued their engagement with it at a rate 75\% higher than the control group, indicating a successful formation of a reading habit. In addition, we observed a 6\% increase in retention within the treatment group. These results underscore the potential of digital interventions in fostering positive engagement habits with educational technology products, ultimately enhancing users' long-term learning outcomes.

연구 동기 및 목표

• 교육 앱을 통해 어린이들이 장기적인 독서 습관을 형성할 수 있는 경쟁 기반 디지털 간섭이 가능한지 평가하기 위해.
• 상 같은 외부 보상이 내재된 독서 동기를 억압하는지 아니면 오히려 강화하는지 검토하기 위해.
• 보상이 제거된 후에도 게임화된 간섭이 앱 사용 및 유지율에 미치는 지속적인 영향을 평가하기 위해.
• 저소득 환경에서 확장 가능하고 저비용인 디지털 교육 간섭에 대한 실증적 증거를 제공하기 위해.
• 게임화가 EdTech 플랫폼에서 일관된 참여를 촉진하는 데 효과적인지 탐색하기 위해.

제안 방법

• 약 10,000명의 어린이를 7개의 학교 기반 등록 라운드에 나누어 랜덤화된 통제 실험을 실시하였다.
• 치료군 학생들은 랭킹과 상위 1,000명의 수상자에게 책을 증정하는 '100일 독서 대회'에 참여하도록 편성되었다.
• 주요 결과 변수로는 읽은 스토리 수와 앱 유지율을 포함하였으며, 보상 이후 12주 간 측정하였다.
• 어려운 스토리 소비 수를 모델링하기 위해 포아송 회귀 분석을 사용하였고, 치료 여부를 핵심 예측 변수로 삼았다.
• 유지율 확률을 추정하기 위해 코크스 비례 위험 모델을 적용하였으며, 이탈까지의 시간을 고려하였다.
• 데이터는 익명화되어 처리되었으며, 스토리 완료 수에서 상위 0.1%의 극단적 외곽치를 제거하여 기기 오류를 줄였다.

실험 결과

연구 질문

• RQ1 경쟁 기반 디지털 간섭은 교육용 독서 앱에서 단기적 참여를 증가시키는가?
• RQ2 이러한 간섭은 보상이 제거된 후에도 앱 사용을 지속적으로 증가시키는가?
• RQ3 게임화된 환경에서 외부 보상 사용이 독서에 대한 내재된 동기를 약화시키는가?
• RQ4 지속적인 보상 없이 간섭이 장기적 유지율에 얼마나 효과적인가?
• RQ5 저비용으로 확장 가능한 디지털 간섭은 저소득 교육 환경의 어린이들이 독서 습관을 형성하는 데 효과적인가?

주요 결과

• 보상 이후 12주 간의 기간 동안, 치료군 학생들은 평균적으로 대조군 대비 0.30개 더 많은 스토리를 읽었다 (p < 0.05).
• 치료군은 보상 이후 단계에서 대조군 대비 75% 더 많은 스토리를 읽었으며, 대조군의 평균은 0.40개였다.
• 치료군은 대조군의 19% 유지율 대비 1.3个百分点 더 오랜 기간 앱에 활성화되어 있었으며, 12주 간 유지율이 높았다.
• 대회 기간 동안 간섭은 효과적이었으며, 치료군은 대조군 대비 평균 0.96개 더 많은 스토리를 읽었다 (p < 0.05), 이는 대조군 평균 2.12개 대비 45% 증가였다.
• 치료군과 대조군 간의 랜덤화 이전 앱 사용에 유의미한 차이가 없었다 (p = 0.316), 이는 랜덤화 균형이 잘 유지되었음을 뒷받침한다.
• 결과는 보상 종료 후에도 참여가 높게 유지되었기 때문에, 대회가 내재된 동기를 억압하지 않았음을 시사한다.