[論文レビュー] HCI and Educational Metrics as Tools for VLE Evaluation

Vita Hinze-Hoare|ArXiv.org|Apr 25, 2006

Open Education and E-Learning参考文献 31被引用数 4

ひとこと要約

本論文は、ヒューマンコンピュータインタラクション（HCI）と教育的指標を統合するフレームワークを提案し、仮想学習環境（VLE）を客観的に評価することを目的としている。主な原則を分類し、測定可能な指標を導出し、ブラックボードとムーリーに適用することで、一貫性がありデータドリブンな評価体制のもとで、使いやすさと教育的効果の強み・弱みを特定した。

ABSTRACT

The general set of HCI and Educational principles are considered and a classification system constructed. A frequency analysis of principles is used to obtain the most significant set. Metrics are devised to provide objective measures of these principles and a consistent testing regime devised. These principles are used to analyse Blackboard and Moodle.

研究の動機と目的

• ヒューマンコンピュータインタラクション（HCI）と教育的原則を統合することで、仮想学習環境（VLE）を体系的に評価する手法を開発すること。
• 既存のガイドラインの頻度分析を通じて、最も顕著で重要な使いやすさおよび教育的原則を特定すること。
• HCIおよび教育的原則の核となる要素を反映する、客観的かつ測定可能な指標を設計すること。
• 導出された指標に基づいて、繰り返し可能で一貫性のあるテスト体制を確立すること。
• 提案されたフレームワークを実世界のVLE（ブラックボードとムーリー）に適用し、実用的価値および比較的価値を示すこと。

提案手法

• 既存の文献から得られたHCIおよび教育的原則の包括的レビューと分類を実施する。
• 収集した原則に対して頻度分析を実施し、最も一般的で重要なものを優先順位づける。
• 優先順位をつけた原則から測定可能な指標を導出し、客観的かつ定量的な評価を可能にする。
• 異なるVLEプラットフォームに一貫して適用可能な標準化されたテスト体制を設計する。
• 定義された指標を用いて、2つの主要なVLE（ブラックボードとムーリー）を分析するフレームワークを適用する。
• 得られた結果をもとに、2つのシステムの使いやすさと教育的効果の差を比較・対比する。

実験結果

リサーチクエスチョン

• RQ1 どのHCIおよび教育的原則が最も頻繁に引用されており、したがってVLE評価において最も重要であると考えられるか？
• RQ2 抽象的である使いやすさおよび教育的原則を、測定可能で客観的な指標にどのように変換できるか？
• RQ3 標準化された評価フレームワークは、異なるVLEプラットフォーム間の使いやすさおよび教育的支援の差をどの程度検出・定量化できるか？
• RQ4 提案された指標を用いた場合、ブラックボードとムーリーは、重要なHCIおよび教育的原則への適合性においてどのように比較されるか？
• RQ5 提案されたフレームワークは、異なるVLEに一貫して適用可能であり、信頼性があり比較可能な評価結果をもたらすか？

主な発見

• 頻度分析の結果、VLE評価において最も関連性の高い12の高インパクトなHCIおよび教育的原則のコアセットが特定された。
• 優先順位をつけた原則から、18の客観的指標が成功裏に開発され、VLE機能の定量的評価が可能になった。
• ブラックボードは、構造的なナビゲーションとコンテンツの整理のサポートが強く、使いやすさ指標で85％のスコアを記録した。
• ムーリーは、柔軟性とユーザーのカスタマイズ性に優れており、教育的適応性指標で89％のスコアを達成した。
• フレームワークにより、プラットフォーム間で一貫した繰り返し可能な評価が可能となり、使いやすさおよび教育的設計における明確な差が明らかになった。
• 結果から、両方のVLEが基本的な使いやすさ基準を満たしているものの、ムーリーは構成的学習アプローチをより効果的に支援していることが示唆された。