[논문 리뷰] Usability Evaluation and Improvement of a Tool for Self-Service Learning Analytics

Shoeb Joarder, Mohamed Amine Chatti외 1명|arXiv (Cornell University)|2026. 03. 25.

Online Learning and Analytics인용 수 0

한 줄 요약

논문은 코드 없는 SSLA 도구인 Indicator Editor의 엄격하고 반복적인 사용성 및 UX 평가를 수행하고, 최종 UI가 OpenLAP에 배포된 설계 개선을 도출합니다.

ABSTRACT

Self-Service Learning Analytics (SSLA) tools aim to support educational stakeholders in creating learning analytics indicators without requiring technical expertise. While such tools promise user control and trans- parency, their effectiveness and adoption depend critically on usability aspects. This paper presents a compre- hensive usability evaluation and improvement of the Indicator Editor, a no-code, exploratory SSLA tool that enables non-technical users to implement custom learning analytics indicators through a structured workflow. Using an iterative evaluation approach, we conduct an exploratory qualitative user study, usability inspections of high-fidelity prototypes, and a workshop-based evaluation in an authentic educational setting with n = 46 students using standardized instruments, namely System Usability Scale (SUS), User Experience Question- naire (UEQ), and Net Promoter Score (NPS). Based on the evaluation findings, we derive concrete design implications that inform improvements in workflow guidance, feedback, and information presentation in the Indicator Editor. Furthermore, our evaluation provides practical insights for the design of usable SSLA tools.

연구 동기 및 목표

• 원래의 Indicator Editor 인터페이스의 사용성 및 사용자 경험 평가.
• 정성적 사용자 연구 및 점검을 통해 핵심 사용성 이슈 식별.
• 발견에 기초하여 고충실도 프로토타입을 활용해 UI를 반복적으로 개선.
• SUS, UEQ, NPS를 사용한 워크숍으로 최종 프로토타입 평가.
• 유용한 SSLA 도구 설계를 위한 실용적 가이드라인 제시.

제안 방법

• 다섯 명의 참가자를 대상으로 탐색적 질적 사용자 연구를 수행하여 사용성 문제를 식별.
• 반복 디자인 단계에서 고충실도 프로토타입의 사용성 점검을 수행.
• Figma 및 React.js와 같은 도구를 사용해 초기, 중간 및 최종 프로토타입을 개발.
• SUS, UEQ, NPS를 사용한 워크숍(n=46)을 실행하여 사용성 및 UX를 정량화.
• 워크플로우 안내 및 정보 프리젠테이션에 대한 구체적 디자인 시사점으로 연구 결과를 종합.

실험 결과

연구 질문

• RQ1 Indicator Editor를 사용해 LA 지표를 구현할 때 사용자가 직면하는 주요 사용성 및 UX 이슈는 무엇인가?
• RQ2 반복적 디자인 개선이 인지된 사용성 및 사용자 경험에 어떤 영향을 미치는가?
• RQ3 명료성, 피드백 및 워크플로우 이해도를 신뢰적으로 향상시키는 어떤 설계 개선이 있는가?
• RQ4 개선 후 사용자가 Indicator Editor를 추천할 의향은 전반적으로 어느 정도인가?

주요 결과

• 정성적 연구는 피드백의 명료성, 용어의 이해가능성, 정보 과부하, 시각적 요소 및 상호작용의 일관성 등 네 가지 주요 사용성 이슈를 확인했다.
• 반복적 프로토타입은 워크플로 구조, 지속적 개요 및 맥락적 도움말을 개선하지만 데이터셋-필터 간 관계와 자동 상태 변경에 관한 이슈는 남아 있다.
• 정량적 워크숍 결과 SUS 평균은 76.8(좋은 사용성)로 변동성 포함; 17.2%는 우수(SUS ≥85)이며 13.8%는 70 미만.
• UEQ는 명료성(perspicuity)을 주요 문제점으로 나타내고(점수 -0.63, 부정적), 효율성 및 신뢰성은 엇갈렸지만 대체로 긍정적이며, 쾌락적 품질은 중립에 가까움.
• NPS는 -28.3%로 비판자가 촉진자보다 많아 도구에 대한 옹호가 제한적임을 시사.