[论文解读] OpenCourseWare Observatory -- Does the Quality of OpenCourseWare Live up to its Promise?

Sahar Vahdati, Christoph Lange+1 more|arXiv (Cornell University)|Oct 21, 2014

Open Education and E-Learning参考文献 25被引用 11

一句话总结

本文提出了一套基于适用性（fitness for use）的开放式课程资源（OCW）系统性质量评估框架，针对20个资源库中随机选取的100门课程进行评估。研究识别出若干关键缺陷——如重用潜力低、多语言支持有限、更新频率低以及自评工具匮乏——揭示尽管OCW资源广泛可得，但大多数仍未能兑现其教育承诺。

ABSTRACT

A vast amount of OpenCourseWare (OCW) is meanwhile being published online to make educational content accessible to larger audiences. The awareness of such courses among users and the popularity of systems providing such courses are increasing. However, from a subjective experience, OCW is frequently cursory, outdated or non-reusable. In order to obtain a better understanding of the quality of OCW, we assess the quality in terms of fitness for use. Based on three OCW use case scenarios, we define a range of dimensions according to which the quality of courses can be measured. From the definition of each dimension a comprehensive list of quality metrics is derived. In order to obtain a representative overview of the quality of OCW, we performed a quality assessment on a set of 100 randomly selected courses obtained from 20 different OCW repositories. Based on this assessment we identify crucial areas in which OCW needs to improve in order to deliver up to its promises.

研究动机与目标

• 为解决开放式课程资源（OCW）缺乏客观、代表性质量标准的问题，建立标准化的评估框架。
• 探究OCW是否真正实现了其提供可访问、高质量、可重用教育资源的承诺。
• 识别反映OCW资源在现实世界中可用性和可重用性的关键质量维度与指标。
• 通过大规模、具有代表性的评估，提供OCW质量现状的实证证据。
• 支持未来将质量指标自动化并集成到OCW资源库和学习对象标准中。

提出的方法

• 定义了三种使用场景——自主学习、自评学习和案例/示例教学——以将质量维度与实际教育需求相结合。
• 识别出七个质量维度：可获取性、多语言性、可重用性、更新频率、自评功能、吸引力和社区参与度。
• 从每个维度推导出48项具体质量指标，实现客观、可重复的评估。
• 采用时间与事件抽样法，对20个不同资源库中随机选取的100门OCW课程进行系统性定性观察。
• 应用标准化标准，依据既定指标对每门课程进行评估，确保评估的一致性与客观性。
• 结合主观与客观测量方法（如视觉吸引力比率、内容与插图比例）评估吸引力与可用性。

实验结果

研究问题

• RQ1 OCW课程在多大程度上满足了真实教育场景中适用性的标准？
• RQ2 OCW资源库在可重用性、多语言性、更新频率等关键质量维度上的表现如何？
• RQ3 有多少比例的OCW课程包含自评工具，其结构如何？
• RQ4 OCW课程在不同搜索引擎中的可发现性如何比较，哪些因素影响其可见性？
• RQ5 哪些最关键的品质缺口阻碍了OCW实现其教育承诺？

主要发现

• 在评估的100门OCW课程中，仅有28%真正开放，存在访问限制或授权不明确的情况。
• 仅有12%的课程提供除英语以外的其他语言版本，严重限制了全球可及性。
• 仅16%的课程以支持重用和再利用的格式发布，表明技术互操作性较差。
• 仅三分之一的课程在过去三年内更新过，表明内容过时现象普遍存在。
• 不足一半（45%）的课程包含自评题，且其中仅有25门提供了答案，限制了学习者获得反馈的机会。
• 可发现性仍然较低：即使在搜索中使用‘course’一词，仍有68%的课程排名超过第100位。