[論文レビュー] OpenCourseWare Observatory -- Does the Quality of OpenCourseWare Live up to its Promise?

Sahar Vahdati, Christoph Lange+1 more|arXiv (Cornell University)|Oct 21, 2014

Open Education and E-Learning参考文献 25被引用数 11

ひとこと要約

本稿は、利用目的適合性に基づき、20のリポジトリからランダムに選択された100コースを評価することで、オープンコースウェア（OCW）の体系的品質評価フレームワークを提案する。主な欠陥として、再利用可能性の低さ、多言語対応の不足、頻繁な更新の不在、自己評価ツールの不足が特定され、広範に利用可能であるにもかかわらず、大多数のOCWが教育的期待に応えられていないことが明らかになった。

ABSTRACT

A vast amount of OpenCourseWare (OCW) is meanwhile being published online to make educational content accessible to larger audiences. The awareness of such courses among users and the popularity of systems providing such courses are increasing. However, from a subjective experience, OCW is frequently cursory, outdated or non-reusable. In order to obtain a better understanding of the quality of OCW, we assess the quality in terms of fitness for use. Based on three OCW use case scenarios, we define a range of dimensions according to which the quality of courses can be measured. From the definition of each dimension a comprehensive list of quality metrics is derived. In order to obtain a representative overview of the quality of OCW, we performed a quality assessment on a set of 100 randomly selected courses obtained from 20 different OCW repositories. Based on this assessment we identify crucial areas in which OCW needs to improve in order to deliver up to its promises.

研究の動機と目的

• オープンコースウェア（OCW）の客観的かつ代表的な品質基準の欠如に応えるために、標準化された評価フレームワークを確立すること。
• OCWが、アクセス可能で高品質かつ再利用可能な教育的コンテンツを本当に提供しているかどうかを調査すること。
• 現実の教育的有用性と再利用可能性を反映する、主要な品質次元と指標を同定すること。
• 大規模かつ代表的な評価を通じて、OCWの現在の品質状況に関する実証的証拠を提供すること。
• 今後のOCWリポジトリおよび学習オブジェクト標準への品質指標の自動化と統合を支援すること。

提案手法

• 学習の自己学習、自己評価、例・図解の活用という3つのユースケースシナリオを定義し、品質次元を実際の教育的ニーズに基づいて根拠づけた。
• 7つの品質次元を特定：利用可能性、多言語性、再利用性、更新頻度、自己評価、魅力的さ、コミュニティ参加。
• 各次元から具体的な48の品質指標を体系的に導出し、客観的かつ再現可能な評価を可能にした。
• 時間的・出来事的サンプリングを用いて、20の異なるリポジトリからランダムに選択された100のOCWコースを、体系的かつ定性的に観察した。
• 定義された指標に従って各コースを評価し、一貫性と客観性を確保した。
• 視覚的魅力比やコンテンツ対図解比といった、主観的および客観的測定値を併用して、魅力的さと使いやすさを評価した。

実験結果

リサーチクエスチョン

• RQ1 OCWコースは、実際の教育的文脈において、利用目的適合性の基準をどの程度満たしているか？
• RQ2 再利用性、多言語性、更新頻度といった主要な品質次元において、OCWリポジトリはどの程度のパフォーマンスを示しているか？
• RQ3 OCWコースの何パーセントが自己評価ツールを含んでおり、それらはどのように構造化されているか？
• RQ4 検索エンジン間でのOCWコースの検索可能性はどの程度か？可視性に影響を与える要因は何であるか？
• RQ5 OCWが教育的期待を果たせない主な品質ギャップは何か？

主な発見

• 評価された100のOCWコースのうち、わずか28％が真にオープンであり、アクセス制限や明確でないライセンスが存在した。
• コースのわずか12％しか英語以外の言語で提供されておらず、グローバルなアクセス性が著しく制限されていた。
• 再利用や再編集を可能にするフォーマットで提供されているのはわずか16％にとどまり、技術的相互運用性の低さが顕著だった。
• 3年以内に更新されたのはたったの3分の1にとどまり、陳腐化したコンテンツが広く存在していることが示された。
• 自己評価の質問が含まれているのは半数未満（45％）であり、そのうちの25件のみが解答を提供しており、学習者のフィードバックが制限されていた。
• 検索可能性は依然として低い：検索クエリに「course」を含めても、68％のコースが上位100位以内にランクインしていなかった。