[논문 리뷰] Usability Evaluation of Learning Management Systems in Sri Lankan Universities

Selvarajah Thuseethan, Sivapalan Achchuthan외 1명|arXiv (Cornell University)|2014. 11. 30.

E-Learning and Knowledge Management참고 문헌 16인용 수 33

한 줄 요약

이 연구는 표준화된 사용성 기준과 실증적 테스트를 활용하여 스리랑카 대학의 학습 관리 시스템(LMS)의 사용성에 대해 평가한다. 연구 결과, 사용자 만족도와 효율성에 영향을 미치는 심각한 사용성 문제들이 탐지되었으며, 특히 탐색, 작업 완료, 시스템 반응성 측면에서 문제가 있었다. 이는 e-러닝 효과를 향상시키기 위해 인터페이스 개선이 필요하다는 점을 시사한다.

ABSTRACT

As far as Learning Management System is concerned, it offers an integrated platform for educational materials, distribution and management of learning as well as accessibility by a range of users including teachers, learners and content makers especially for distance learning. Usability evaluation is considered as one approach to assess the efficiency of e-Learning systems. It is used to evaluate how well technology and tools are working for users. There are some factors contributing as major reason why LMS is not used effectively and regularly. Learning Management Systems, as major part of e-Learning systems, can benefit from usability research to evaluate the LMS ease of use and satisfaction among its handlers. Many academic institutions worldwide prefer using their own customized Learning Management Systems; this is the case with Moodle, an open source Learning Management Systems platform designed and operated by most of the universities in Sri Lanka. This paper gives an overview of Learning Management Systems used in Sri Lankan universities, and evaluates its usability using some pre-defined usability standards. In addition it measures the effectiveness of Learning Management System by testing the Learning Management Systems. The findings and result of this study as well as the testing are discussed and presented.

연구 동기 및 목표

• 스리랑카 대학의 학습 관리 시스템(LMS)의 사용성, 특히 Moodle 기반 플랫폼의 사용성 평가
• e-러닝 환경에서 교사, 학생, 콘텐츠 제작자가 겪는 사용성 장벽 규명
• 표준화된 사용성 테스트와 사용자 상호작용 분석을 통한 LMS 효과성 평가
• 실증적 발견 기반으로 LMS 설계 향상에 실질적인 권고안 제공

제안 방법

• 기존 사용성 기준과 지표를 활용한 사용성 평가 수행
• 스리랑카 대학의 실제 사용자를 대상으로 LMS 작업을 시뮬레이션하는 사용성 테스트 실시
• 작업 완료 비율, 작업 소요 시간, 오류 빈도, 사용자 만족도 데이터 수집
• 정성적 피드백과 정량적 성능 측정치를 결합해 시스템 효율성과 사용자 경험 평가
• 결과를 발표하기 위해 Global Journal of Computer Science and Technology를 출판처로 활용
• 오픈소스 성격과 광범위한 보급 덕분에 스리랑카 대학에서 주로 사용되는 Moodle를 주요 LMS 플랫폼으로 평가

실험 결과

연구 질문

• RQ1 스리랑카 대학의 현재 LMS 플랫폼은 최종 사용자 관점에서 얼마나 사용하기 쉬운가?
• RQ2 학생, 강사, 콘텐츠 개발자가 LMS를 효과적으로 사용하는 데 방해가 되는 특정 사용성 요소는 무엇인가?
• RQ3 기존 LMS 플랫폼은 얼마나 효율적인 작업 완료와 사용자 만족도를 지원하는가?
• RQ4 시스템 설계 결함은 고등교육 분야에서 e-러닝 도구의 도입과 정기적 사용에 어떤 영향을 미치는가?

주요 결과

• 다양한 LMS 플랫폼에서 탐색, 인터페이스 레이아웃, 작업 완료 효율성 측면에서 심각한 사용성 문제 발견
• 특히 과제 제출이나 강의 자료 접근 시 오류 빈도가 높고 작업 완료 시간이 길어 사용자 불만 증가
• 사용자 만족도 점수가 기준 이하였으며, 시스템 반응성과 명확성에 대한 불만을 나타냄
• 일관되지 않은 인터페이스 디자인과 사용자 안내 부족은 초보자뿐 아니라 경험이 많은 사용자에게도 부정적 영향을 미침
• 오픈소스 유연성과 커스터마이제이션 잠재력이 있는 것으로 평가되지만, Moodle 역시 핵심 사용성 결함를 보임
• 스리랑카 대학의 현재 LMS 설정이 기본 사용성 기준을 충족하지 못함으로써 교육적 효과가 제한됨