[논문 리뷰] A Framework for Textbook Enhancement and Learning using Crowdsourced Annotations

Anamika Chhabra, S. R. S. Iyengar외 2명|arXiv (Cornell University)|2015. 03. 20.

Online and Blended Learning참고 문헌 26인용 수 5

한 줄 요약

이 논문은 학생, 강사, 저자가 교재를 보다 효과적으로 향상시킬 수 있도록 허용하는 공동 작업형 플랫폼인 커스터마이즈드 앤오테이션 시스템(CAS)을 제안한다. 학습 과정에서 학생들이 교재 텍스트에 직접 코멘트, 질문, 설명을 추가할 수 있도록 함으로써 이해도와 참여도를 향상시킨다. 60명의 학생을 대상으로 한 실험 결과, 높은 만족도를 보였으며, 82.69%의 학생이 CAS가 이해도 향상에 크게 기여했고, 향후 학습에도 다시 사용할 것이라고 동의하거나 강하게 동의했다.

ABSTRACT

Despite a significant improvement in the educational aids in terms of effective teaching-learning process, most of the educational content available to the students is less than optimal in the context of being up-to-date, exhaustive and easy-to-understand. There is a need to iteratively improve the educational material based on the feedback collected from the students' learning experience. This can be achieved by observing the students' interactions with the content, and then having the authors modify it based on this feedback. Hence, we aim to facilitate and promote communication between the communities of authors, instructors and students in order to gradually improve the educational material. Such a system will also help in students' learning process by encouraging student-to-student teaching. Underpinning these objectives, we provide the framework of a platform named Crowdsourced Annotation System (CAS) where the people from these communities can collaborate and benefit from each other. We use the concept of in-context annotations, through which, the students can add their comments about the given text while learning it. An experiment was conducted on 60 students who try to learn an article of a textbook by annotating it for four days. According to the result of the experiment, most of the students were highly satisfied with the use of CAS. They stated that the system is extremely useful for learning and they would like to use it for learning other concepts in future.

연구 동기 및 목표

• 교재 개발 과정에서 저자, 강사, 학생 간의 소통 격차를 해소하기 위해.
• 학습 과정 중 학생으로부터 실시간 피드백을 수집하여 교재의 품질을 향상시키기 위해.
• 학생 간 상호 교육과 지식 공유를 지원하는 협업 기반 학습 환경을 조성하기 위해.
• 기존의 토론 포럼과 대비해 교내 주석이 더 나은 대안인지 평가하기 위해.
• 공동 작업 기반 피드백을 활용한 교재 향상 가능성을 지닌 확장 가능한 프레임워크를 개발하기 위해.

제안 방법

• 공동 작업형 교재 주석을 위한 웹 기반 플랫폼인 커스터마이즈드 앤오테이션 시스템(CAS)을 도입한 프레임워크를 제안한다.
• 학생들은 교재 텍스트에 직접 네 가지 유형의 주석을 추가한다: 통찰(Insight, I), 질문(Question, Q), 답변(Answer, A), 시각(Point of View, P).
• 주석은 사이드바 패널에 표시되어 맥락을 유지하고 실시간으로 시각화된다.
• 투표 메커니즘을 통해 사용자가 주석을 평가할 수 있어 고급 기여 내용을 부각시킨다.
• 강사가 모듈을 할당하고 학생 간 상호작용을 모니터링할 수 있도록 지원한다.
• 4일간 CAS를 활용해 교재 기사 학습을 진행한 60명의 학생을 대상으로 실험적 평가를 실시했다.

실험 결과

연구 질문

• RQ1 교내 주석은 학생들이 교재 내용을 이해하는 데 얼마나 효과적인가?
• RQ2 학생들은 전통적인 토론 포럼과 비교해 CAS를 학습에 더 유용하게 느끼는가?
• RQ3 공동 작업 기반 주석을 통해 학생 피드백을 바탕으로 의미 있는 교재 개선이 가능할 수 있는가?
• RQ4 다양한 주석 유형(I, Q, A, P)은 협업 학습과 지식 구축에 어떻게 기여하는가?
• RQ5 학생들이 CAS를 학습에 사용할 때의 사용성과 만족도 수준은 어떠한가?

주요 결과

• 5점 척도에서 핵심 사용성 및 학습 효과성 질문에 대해 82.69%의 학생이 '강하게 동의함' 또는 '동의함'을 선택했다.
• 학생들은 CAS가 교재 내용 이해에 매우 유용하다고 평가했으며, 응답자의 100%가 향후 학습에도 다시 사용할 것이라고 밝혔다.
• 대부분의 학생들이 CAS를 통해 기존 독서 방식보다 더 짧은 시간에 텍스트를 이해했고, 이해도가 향상되었다고 보고했다.
• 학생들은 인터페이스의 사용 용이성에 매우 만족했으며, 탐색, 주석 입력, 시각적 레이아웃에 대해 높은 평점을 받았다.
• 시스템은 학생 간 상호 교육을 효과적으로 지원했으며, 학생들이 실시간으로 질문을 하고 답변을 주고받는 경우가 빈번했다.
• 피드백 분석 결과, 비선형적 토론 포럼과 비교해 교내 주석이 맥락을 유지하고 집중도를 향상시켜 더 뛰어난 성능을 보였다.