[논문 리뷰] Beyond A/B Testing: Sequential Randomization for Developing Interventions in Scaled Digital Learning Environments

Timothy NeCamp, Josh Gardner외 1명|arXiv (Cornell University)|2018. 10. 26.

Online Learning and Analytics참고 문헌 27인용 수 5

한 줄 요약

이 논문은 대규모 디지털 학습 환경(SDLE)에서 적응형 개인화 개입을 개발하기 위한 새로운 실험 설계인 순차적 랜덤화 시험(SRTs)을 제안한다. 기존 A/B 테스트의 한계를 극복하며, 과정 전반에 걸쳐 학습자를 여러 차례 재랜덤화함으로써 개입의 최적의 순서, 시기, 개인화 전략을 규명할 수 있도록 한다. 사례 연구를 통해 문화적으로 타겟팅된 이메일 알림이 데이터 과학 MOOC에서 학습자 참여도를 향상시켰음을 입증하였다.

ABSTRACT

Randomized experiments ensure robust causal inference that are critical to effective learning analytics research and practice. However, traditional randomized experiments, like A/B tests, are limiting in large scale digital learning environments. While traditional experiments can accurately compare two treatment options, they are less able to inform how to adapt interventions to continually meet learners' diverse needs. In this work, we introduce a trial design for developing adaptive interventions in scaled digital learning environments -- the sequential randomized trial (SRT). With the goal of improving learner experience and developing interventions that benefit all learners at all times, SRTs inform how to sequence, time, and personalize interventions. In this paper, we provide an overview of SRTs, and we illustrate the advantages they hold compared to traditional experiments. We describe a novel SRT run in a large scale data science MOOC. The trial results contextualize how learner engagement can be addressed through inclusive culturally targeted reminder emails. We also provide practical advice for researchers who aim to run their own SRTs to develop adaptive interventions in scaled digital learning environments.

연구 동기 및 목표

• 대규모 디지털 학습 환경(SDLE)에서 단일 랜덤화가 동적인 적응형 개입 수요를 포착하지 못하는 기존 A/B 테스트의 한계를 해결하기 위해.
• 학습자의 필요와 행동이 변화하는 것을 바탕으로 개입의 순서, 시기, 개인화를 지원하는 시험 설계를 개발하기 위해.
• 연구자가 SRT를 SDLE에서 설계하고 구현할 수 있는 실용적 프레임워크를 제공하기 위해.
• 실제 사례 연구를 통해 MOOC에서 이메일 알림 개입에 대해 문화적으로 타겟팅된 메시지를 사용한 결과, 학습자 참여도 향상이 이루어졌음을 입증하기 위해.

제안 방법

• 학습자를 과정 전반에 걸쳐 여러 차례 다른 개입 옵션으로 재랜덤화하는 순차적 랜덤화 시험(SRTs)을 제안한다.
• 반복적인 랜덤화를 통해 다양한 개입 순서를 비교하고 최적의 시기 및 개인화 전략을 규명한다.
• 최근 활동 등의 중간 과정 변수를 개인화의 잠재적 조절 변수로 활용하여, 기초 인구통계학적 특성 외에도 동적인 적응을 가능하게 한다.
• 실제 MOOC 환경에서 SRT를 적용함—문제 기반 이메일 알림 코세라 연구(PERCS)를 통해 문화적으로 타겟팅된 이메일 개입을 평가한다.
• 특정 개입이 가장 효과적인 시점을 파악하기 위해 다중 시점(예: 2주차 대비 3주차)에서 치료 효과를 분석한다.
• 모든 사용자가 매주 초에 재랜덤화되는 다파장 랜덤화 전략을 적용하여 시간에 따라 다른 이메일 순서를 비교할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 SDLE에서 실험 설계는 학습자 행동에 기반해 시간이 지남에 따라 변화하는 적응형 개입 개발을 어떻게 더 잘 지원할 수 있는가?
• RQ2 단일 랜덤화 대비 여러 차례 랜덤화를 통해 개입 순서와 시기 평가에 있어 어떤 이점이 있는가?
• RQ3 최근 활동 등의 중간 과정 행동 변수는 효과적으로 개인화에 활용될 수 있으며, 기초 인구통계학적 변수와 비교해 어떤가?
• RQ4 이메일 알림에 문화적으로 타겟팅된 메시지를 사용할 경우, 대규모 MOOC에서 학습자 참여도에 어떤 영향을 미치는가?
• RQ5 실제 디지털 학습 환경에서 SRT를 설계하고 분석하기 위한 실용적 고려사항과 방법론적 단계는 무엇인가?

주요 결과

• SRT는 최적의 치료 순서와 시기를 규명할 수 있도록 하며, 예를 들어 어떤 이메일 개입이 과정의 2주차에 비해 3주차에 더 효과적인지 파악하는 데 기여한다.
• PERCS 연구는 문화적으로 타겟팅된 알림 이메일이 학습자 참여도를 향상시켰으며, 인도 및 미국 학습자에게서 차별화된 효과가 있음을 시사한다.
• 재랜덤화를 통해 최근 사용자 활동과 같은 중간 과정 조절 변수를 식별함으로써, 정적 기초 특성 외에도 동적인 개인화가 가능해졌다.
• 이메일 콘텐츠의 단어 길이가 효능에 영향을 미치는 것으로 나타나, 언어적 설계가 개입 성공에 중요한 요소임을 시사한다.
• SRT는 한 번의 시험에서 여러 치료 순서를 식별할 수 있도록 하여, 다수의 순차적 실험을 수행할 필요를 줄였다.
• PERCS의 결과는 과정 이수율과 성능에 대한 장기적 영향을 검증하기 위해, 성능이 높은 치료 순서를 좁혀서 후속 확증 A/B 테스트를 실시할 필요가 있음을 뒷받침한다.