[논문 리뷰] Social Reader Perusall -- a Highly Effective Tool and Source of Formative Assessment Data

Jozef Hanč, Martina Hančová외 1명|arXiv (Cornell University)|2023. 08. 14.

Online Learning and AnalyticsComputer Science인용 수 3

한 줄 요약

이 논문은 AI 기반 소셜 앤코테이션 플랫폼인 Perusall이 과학, 기술, 엔지니어링, 수학 교육에서 형성적 평가와 능동적 학습을 위한 전환적 도구로 기능하는지 평가한다. 비동기적이고 협업 기반의 디지털 자료 앤코테이션을 가능하게 하고 세부 분석 데이터를 생성함으로써 Perusall은 학생의 참여도를 향상시키고 개인화된 지도를 지원하며 혼합형 및 뒤집힌 수업 환경에서 학습 성과를 크게 향상시킨다. 특히 팬데믹 기간 동안 두드러진 성과를 보였다.

ABSTRACT

The contribution provides a detailed exploration of the online platform Perusall as an advanced social annotation technology in teaching and learning STEM disciplines. This exploration is based on the authors' insights and experiences from three years of implementing Perusall at P.J. Šafárik University in Košice, Slovakia. While the concept of social annotation technology and its educational applications are not novel, Perusall's advanced features, including AI and data science reports, enable its use in both synchronous and asynchronous blended and flipped learning environments. In this context, Perusall serves as a digital tool for collecting formative data, monitoring student progress, and identifying areas of difficulty. This assessment data can be effectively utilized in preparing and personalizing subsequent face-to-face group interactions, thereby enhancing and improving the learning experience. From a pedagogical viewpoint, Perusall's role was particularly significant during the Covid-19 pandemic, enabling effective, continuous, and engaging learning amidst social distancing and physical restrictions. Today, Perusall has become a key tool in blended learning, facilitating higher-order cognitive processes during the educational process and, with its multifaceted applications, serves as a modern catalyst in redefining educational experiences and outcomes.

연구 동기 및 목표

• Perusall이 과학, 기술, 엔지니어링, 수학 교육에서 학생의 참여도 향상과 형성적 평가 향상에 기여하는 소셜 앤코테이션 도구로서의 효과를 평가하는 것.
• 자동화된 데이터 수집 및 분석을 통해 Perusall이 혼합형 및 뒤집힌 학습 모델을 지원하는 방식을 탐구하는 것.
• Perusall이 코로나19 팬데믹 기간 동안 교육의 연속성을 유지하는 데 기여한 바를 설명하는 것.
• 데이터 과학 도구(파이썬, 판다스, 세레니움)를 통합하여 학생 앤코테이션 데이터의 자동 처리 및 시각화를 수행하는 것.
• 학습자 오해와 활동 패턴을 식별함으로써 Perusall이 대면 수업 준비에 얼마나 효과적인지 평가하는 것.

제안 방법

• 저자는 2020년부터 2022년까지 Košice 소재 P.J. Šafárik 대학교의 여러 과학, 기술, 엔지니어링, 수학 수업에서 Perusall을 도입하여 디지털 콘텐츠에 대한 비동기적이고 협업 기반의 앤코테이션을 수행하였다.
• 학생의 앤코테이션(의견 및 질문)은 파이썬, 판다스, 세레니움를 사용해 개발한 맞춤형 Jupyter 노트북을 통해 자동으로 데이터 추출 및 처리되어 수집되고 분석되었다.
• 박스플롯과 스웨이프플롯을 포함한 데이터 시각화 기법을 사용하여 학생 활동, 참여 수준, 유형별(의견 대비 질문) 앤코테이션 분포를 표현하였다.
• 플랫폼의 AI 기반 분석은 학생의 이해도를 분석하고, 영향력 있는 토론 스레드와 문제 발생 가능성이 높은 콘텐츠 영역을 식별하는 데 기여하였다.
• 팀은 Perusall을 피어 인스트럭션, 실험 준비, 과학 경연 대회 준비 등 다양한 교육적 맥락에서 활용하였다.
• 오픈소스 데이터 과학 도구를 활용하여 데이터 분석 워크플로의 재현 가능성과 확장성을 확보하였다.

Figure 1: A view of the online platform Perusall during the Perusall Exchange 2022 conference. At the top, we see the types of contributions [ 1 ] , and at the bottom, we see a conference contribution in the form of a poster [ 6 ] .

실험 결과

연구 질문

• RQ1 Perusall은 혼합형 및 뒤집힌 과학, 기술, 엔지니어링, 수학 학습 환경에서 형성적 평가를 어떻게 지원하는가?
• RQ2 Perusall은 비동기 온라인 학습 환경에서 학생의 참여도와 협업을 어느 정도 향상시키는가?
• RQ3 학생 앤코테이션에서 유도된 자동화된 데이터 분석은 대면 수업 세션의 계획과 개선에 어떻게 기여하는가?
• RQ4 Perusall은 코로나19 팬데믹 기간 동안 교육의 연속성을 유지하는 데 어떤 역할을 했는가?
• RQ5 협업 기반 앤코테이션을 통해 Perusall은 과학 실험 및 학술 경연 대회 준비에 얼마나 효과적인가?

주요 결과

• Perusall은 디지털 콘텐츠에 대한 비동기적이고 협업 기반의 앤코테이션을 가능하게 하여 학생의 참여도를 크게 향상시켰으며, 2,000명 이상이 참여한 Perusall 엑스체인지 2022 행사에 활발히 참여하였다.
• 플랫폼의 AI 기반 분석은 실행 가능한 형성적 평가 데이터를 생성하여 강사가 학생의 오해를 식별하고 대면 수업에서 우선순위를 정하는 데 기여하였다.
• 파이썬, 판다스, 세레니움를 사용한 맞춤형 데이터 파이프라인은 밀리초 단위로 앤코테이션 데이터의 실시간 처리 및 시각화를 가능하게 하여 수작업 부담을 줄였다.
• 박스플롯과 스웨이프플롯의 활용은 학생 활동을 효과적으로 시각화하였으며, 다양한 콘텐츠 유형 간 의견과 질문의 분포 패턴을 명확히 드러내었다.
• Perusall은 팬데믹 기간 동안 신체적 거리두기와 기관의 제약 속에서도 지속적이고 상호작용적이며 참여도 높은 학습을 가능하게 하여 핵심적인 역할을 하였다.
• 플랫폼은 피어 인스트럭션, 실험 준비, 과학 경연 대회 준비 등 다양한 교육적 응용 분야를 지원하여 광범위한 교육적 유연성을 입증하였다.

Figure 2: Perusall as a modern digital educational technology combining three digital technologies.