[논문 리뷰] OpenCourseWare Observatory -- Does the Quality of OpenCourseWare Live up to its Promise?

Sahar Vahdati, Christoph Lange외 1명|arXiv (Cornell University)|2014. 10. 21.

Open Education and E-Learning참고 문헌 25인용 수 11

한 줄 요약

이 논문은 사용 목적에 맞는 적합성 기반으로 OpenCourseWare(OCW)에 대한 체계적인 품질 평가 프레임워크를 제안하며, 20개의 레포지터리에서 무작위로 선정한 100개의 강의를 평가한다. 주요 결함으로는 재사용 가능성 저하, 다국어 지원 부족, 업데이트 빈도 저하, 자가 평가 도구 부족 등을 밝혀내며, 널리 보급되어 있음에도 불구하고 대부분의 OCW가 교육적 약속을 이행하지 못하고 있음을 드러낸다.

ABSTRACT

A vast amount of OpenCourseWare (OCW) is meanwhile being published online to make educational content accessible to larger audiences. The awareness of such courses among users and the popularity of systems providing such courses are increasing. However, from a subjective experience, OCW is frequently cursory, outdated or non-reusable. In order to obtain a better understanding of the quality of OCW, we assess the quality in terms of fitness for use. Based on three OCW use case scenarios, we define a range of dimensions according to which the quality of courses can be measured. From the definition of each dimension a comprehensive list of quality metrics is derived. In order to obtain a representative overview of the quality of OCW, we performed a quality assessment on a set of 100 randomly selected courses obtained from 20 different OCW repositories. Based on this assessment we identify crucial areas in which OCW needs to improve in order to deliver up to its promises.

연구 동기 및 목표

• OpenCourseWare(OCW)에 대한 객관적이고 대표적인 품질 기준의 부족 문제를 해결하기 위해 표준화된 평가 프레임워크를 수립하기 위해.
• OCW가 접근 가능하고, 고품질이며, 재사용 가능한 교육 자료를 제공한다는 약속을 실제로 이행하고 있는지 조사하기 위해.
• 실제 교육 현장에서의 사용성과 재사용 가능성을 반영하는 핵심 품질 차원 및 지표를 특정하기 위해.
• 대규모이고 대표적인 평가를 통해 OCW 품질의 현재 상태에 대한 실증적 증거를 제공하기 위해.
• 향후 OCW 레포지터리 및 학습 자원 표준에 품질 지표의 자동화 및 통합을 지원하기 위해.

제안 방법

• 학습자의 자율학습, 자가 평가, 사례/예시 제공이라는 세 가지 사용 사례 시나리오를 정의하여 품질 차원을 실질적인 교육적 필요와 연계하기 위해.
• 가용성, 다국어성, 재사용 가능성, 업데이트 빈도, 자가 평가, 매력도, 커뮤니티 참여도의 일곱 가지 품질 차원을 식별함.
• 각 차원에서 구체적인 48개의 품질 지표를 도출하여 객관적이고 반복 가능한 평가를 가능하게 함.
• 시간 및 사건 샘플링 기반으로 20개의 다른 레포지터리에서 무작위로 선정한 100개의 OCW 강의에 대해 체계적인 정성적 관찰을 수행함.
• 정의된 지표에 기반해 각 강의를 동일한 기준으로 평가하여 평가의 일관성과 객관성을 확보함.
• 시각적 매력도 비율, 콘텐츠 대 그림 비율 등의 주관적 및 객관적 측정 기준을 활용해 매력도와 사용성 평가.

실험 결과

연구 질문

• RQ1 OCW 강의가 실제 교육 현장에서 사용 목적에 맞는 적합성 기준을 얼마나 충족하는가?
• RQ2 OCW 레포지터리가 재사용 가능성, 다국어성, 업데이트 빈도 등의 핵심 품질 차원에서 어떻게 성과를 내는가?
• RQ3 OCW 강의 중 얼마나 많은 비율이 자가 평가 도구를 포함하고 있으며, 그 구조는 어떠한가?
• RQ4 검색 엔진 간에 OCW 강의의 탐색 가능성은 어떻게 비교되는가? 가시성에 영향을 주는 요소는 무엇인가?
• RQ5 OCW가 교육적 약속을 이행하지 못하게 만드는 가장 심각한 품질 격차는 무엇인가?

주요 결과

• 평가한 100개의 OCW 강의 중 진정으로 개방된 강의는 28%에 불과했으며, 접근 제한이나 명확하지 않은 라이선스로 인해 제약을 받음.
• 영어 이외의 언어로 제공된 강의는 단 12%에 그쳐 글로벌 접근성에 심각한 제약이 있음.
• 재사용 및 재활용이 가능한 포맷으로 제공된 강의는 16%에 그쳐 기술적 상호운용성 부족을 시사함.
• 3년 이내에 업데이트된 강의는 1/3에 불과하여 오래된 콘텐츠가 널리 퍼져 있음.
• 자기 평가 문제를 포함한 강의는 절반 이하(45%)였으며, 그 중에서도 해답을 제공한 강의는 25개에 불과해 학습자 피드백 기능이 제한됨.
• 탐색 가능성은 여전히 낮음: 검색어에 'course'를 포함해도 68%의 강의가 검색 결과 상위 100위 이내에 포함되지 않음.