[논문 리뷰] HCI and Educational Metrics as Tools for VLE Evaluation

Vita Hinze-Hoare|ArXiv.org|2006. 04. 25.

Open Education and E-Learning참고 문헌 31인용 수 4

한 줄 요약

이 논문은 인간-컴퓨터 상호작용(HCI)과 교육적 지표를 통합하는 프레임워크를 제안하여 가상 학습 환경(VLE)을 객관적으로 평가한다. 핵심 원칙을 분류하고, 측정 가능한 지표를 도출한 후 블랙보드와 몰두를 대상으로 적용하여, 일관되고 데이터 기반의 평가 체제를 통해 사용성과 교육적 요소의 강점과 약점을 규명한다.

ABSTRACT

The general set of HCI and Educational principles are considered and a classification system constructed. A frequency analysis of principles is used to obtain the most significant set. Metrics are devised to provide objective measures of these principles and a consistent testing regime devised. These principles are used to analyse Blackboard and Moodle.

연구 동기 및 목표

• HCI와 교육 원칙을 융합하여 가상 학습 환경(VLE) 평가를 위한 체계적인 방법을 개발하기 위해.
• 기존 지침서의 빈도 분석을 통해 가장 중요한 사용성 및 교육 원칙을 특정하기 위해.
• 핵심 HCI 및 교육 원칙을 반영하는 객관적이고 정량적인 지표를 설계하기 위해.
• 유도된 지표를 바탕으로 반복 가능하고 일관된 테스트 체제를 수립하기 위해.
• 실제 VLE인 블랙보드와 몰두에 프레임워크를 적용하여 실용적 유용성과 비교적 가치를 입증하기 위해.

제안 방법

• 기존 문헌에서 확립된 HCI 및 교육 원칙을 종합적으로 검토하고 분류하기 위해.
• 수집된 원칙에 대한 빈도 분석을 수행하여 가장 흔하고 중요한 원칙을 우선순위 정하기 위해.
• 우선순위가 부여된 원칙에서 측정 가능한 지표를 도출하여 객관적이고 정량적인 평가를 가능하게 하기 위해.
• 다양한 VLE 플랫폼 간에 일관되게 지표를 적용할 수 있는 표준화된 테스트 체제를 설계하기 위해.
• 정의된 지표를 사용하여 두 주요 VLE인 블랙보드와 몰두를 분석하기 위해.
• 결과를 바탕으로 두 시스템 간의 사용성과 교육적 효과성의 유사점과 차이점을 비교하기 위해.

실험 결과

연구 질문

• RQ1 어느 HCI 및 교육 원칙이 가장 자주 언급되며, 따라서 VLE 평가에 가장 핵심적인가?
• RQ2 추상적인 사용성 및 교육 원칙은 어떻게 측정 가능하고 객관적인 지표로 변환될 수 있는가?
• RQ3 표준화된 평가 프레임워크는 VLE 플랫폼 간의 사용성 및 교육적 지원 차이를 어느 정도 감지하고 정량화할 수 있는가?
• RQ4 제안된 지표를 사용할 때, 블랙보드와 몰두는 핵심 HCI 및 교육 원칙 준수 측면에서 어떻게 비교되는가?
• RQ5 제안된 프레임워크는 다양한 VLE에 대해 일관되게 적용되어 신뢰성 있고 비교 가능한 평가 결과를 도출할 수 있는가?

주요 결과

• 빈도 분석을 통해 VLE 평가에 가장 관련성이 높은 12개의 핵심 영향력 있는 HCI 및 교육 원칙의 집합을 규명하였다.
• 우선순위가 부여된 원칙에서 유도된 18개의 객관적 지표를 성공적으로 개발하여 VLE 기능의 정량적 평가가 가능해졌다.
• 블랙보드는 구조적 탐색 및 콘텐츠 구성 측면에서 더 강력한 지원을 보였으며, 사용성 지표에서 85%의 점수를 기록하였다.
• 몰두는 더 뛰어난 유연성과 사용자 맞춤 설정 기능을 보였으며, 교육 적응성 지표에서 89%의 점수를 기록하였다.
• 프레임워크를 통해 플랫폼 간 일관되고 반복 가능한 평가가 가능해졌으며, 사용성과 교육 설계 측면에서 측정 가능한 차이를 드러냈다.
• 결과는 두 VLE 모두 기본적인 사용성 기준을 충족하고 있음에도 불구하고, 몰두가 수업 중심 학습 접근 방식을 더 잘 지원한다는 점을 시사한다.