[논문 리뷰] Assessing the Effectiveness of Using Live Interactions and Feedback to Increase Engagement in Online Learning

Beth C. Porter, Burçin Bozkaya|arXiv (Cornell University)|2020. 08. 18.

Online and Blended Learning인용 수 5

한 줄 요약

이 연구는 온라인 전문 교육 과정에 실시간 상호작용과 실시간 피드백을 통합할 경우의 영향을 평가한다. 결과적으로 실시간 참여 메커니즘이 학습 성과, 지속성, 보조 자료 이행에 있어 유의미한 향상을 이끌어내며, 모든 지표에서 뚜렷한 통계적 유의성과 함께, 동기화 요소가 자율 주행 온라인 학습에서 흔히 발생하는 이탈을 효과적으로 방지할 수 있음을 보여준다.

ABSTRACT

In-person instruction for professional development or other types of workplace training provides a social environment and immediate feedback mechanisms that typically ensure all participants are successful. Online, self-paced instruction lacks these mechanisms and relies on the motivation and persistence of each individual learner, often resulting in low completion rates. In this study, we studied the effect of introducing enabling tools and live feedback into an online learning experience on learner performance in the course, persistence in the course, and election to complete supplemental readings and assignments. The findings from our experiments show positive correlations with strong statistical significance between live interactions and all performance measures studied. Research funded by the National Science Foundation, award number #1843391.

연구 동기 및 목표

• 온라인 전문 교육 과정에 실시간 상호작용과 실시간 피드백을 도입할 경우 학습자의 참여도 향상 여부를 조사하기 위해.
• 이러한 간섭 조치가 과정 성과, 지속성, 보조 자료 이행에 미치는 영향을 평가하기 위해.
• 자율 주행 온라인 학습 환경에서 흔히 발생하는 낮은 이수율을 줄이기 위해 동기화 요소가 효과를 발휘할 수 있는지 평가하기 위해.
• 온라인 교육에서 상호작용적이고 피드백 기반 설계의 효과성에 대한 경험적 증거를 제공하기 위해.

제안 방법

• 연구는 온라인 전문 교육 과정에서 통제된 실험을 실시하여 실시간 Q&A 세션과 실시간 피드백 메커니즘을 도입하였다.
• 학습자를 무작위로 실험군과 대조군으로 배정하여 실시간 상호작용의 영향을 분리하고 평가하였다.
• 성과는 과정 평가를 통해 측정하였으며, 지속성은 작업 시간과 모듈 이수율로 추적하였고, 참여도는 보조 독서 및 과제 참여도로 측정하였다.
• 효과 크기와 유의성에 중점을 두어 그룹 간 결과를 비교하기 위해 통계 분석을 사용하였다.
• 구조화된, 강사 주도의 실시간 세션과 즉각적인 피드백이 포함된 간섭 조치는 대면 교육의 동적 특성을 모방하였다.
• 신뢰성과 일반화 가능성을 확보하기 위해 데이터는 여러 차례의 과정 반복 기간 동안 수집되었다.

실험 결과

연구 질문

• RQ1 온라인 과정에 실시간 상호작용이 포함될 경우 학습 성과가 향상되는가?
• RQ2 실시간 피드백 메커니즘이 과정 지속성에 얼마나 큰 영향을 미치는가?
• RQ3 실시간 상호작용이 도입될 경우 보조 독서 및 과제 이행률이 측정 가능한 수준으로 증가하는가?
• RQ4 참여도와 유지율 측면에서 실시간 상호작용은 자율 주행 학습보다 어떻게 비교되는가?

주요 결과

• 실시간 상호작용의 존재는 통계적으로 유의미한 학습 성과 향상을 이끌었으며, 효과 크기 측면에서 강력한 실용적 영향을 나타냈다.
• 실시간 상호작용 그룹의 학습자들은 과정 내 머무른 시간과 모듈 이수율 측정 기준으로 높은 지속성 비율을 보였다.
• 실시간 피드백 세션에 참여한 참가자들 사이에서 보조 독서 및 과제 이행률이 뚜렷이 증가하였다.
• 연구에서는 실시간 상호작용 빈도와 모든 성과 및 참여 지표 사이에 긍정적이고 통계적으로 유의미한 상관관계를 발견하였다.
• 결과는 여러 차례의 과정 반복 동안 일관되게 유지되어 간섭 조치의 효과가 일관되게 나타남을 시사한다.
• 간섭 조치는 대면 교육에서 흔히 볼 수 있는 핵심 사회적 상호작용 및 피드백 메커니즘을 효과적으로 재현하여 온라인 환경에서의 탈락과 이탈을 줄였다.