[논문 리뷰] Assessing the Usability of a Novel System for Programming Education

Giovanni Vincenti, J. Scott Hilberg외 3명|arXiv (Cornell University)|2017. 11. 15.

Teaching and Learning Programming참고 문헌 13인용 수 3

한 줄 요약

이 논문은 학생들이 실시간으로 변수 값을 추적하면서 코드를 라인 단위로 단계적으로 진행할 수 있도록 도와주는 웹 기반 상호작용 도구인 line_explorer를 평가한다. 음성 설명 기능도 포함되어 있다. 결과적으로 정보기술(IT) 및 컴퓨터과학(CS) 전공 학생들이 더 높은 사용성 평가를 내렸으며, 특히 프로그래밍 과목의 유용성에 대해 중립적인 태도를 가진 학생들에게 더 유용한 것으로 나타났다. 그러나 정보시스템(IS) 전공 학생들은 낮은 사용성 평가를 내어, 루프 시각화 및 인지 부하 감소에 초점을 맞춘 인터페이스 개선이 필요함을 시사한다.

ABSTRACT

The authors present the results of a simple usability test performed on line_explorer, an innovative tool aimed at letting students explore programming. The system offers an interactive environment where students can learn, review, and practice programming independently or through step-by-step instruction. Students in Information Technology, Computer Science, and Information Systems were surveyed. The findings show that students have interest in this tool, whereas some groups find this tool more interesting and useful. The findings will help refine the user interface for the next phase of testing which include changes for simplicity, usability and expanded topic content. Overall the survey on line_explorer in its current design phase seem more useful for IT and CS majors, however significant changes are still needed.

연구 동기 및 목표

• line_explorer라는 신규 상호작용 도구의 사용성 평가: 학생들이 단계별 코드 실행을 통해 프로그래밍을 배우는 데 도움이 되도록 설계됨.
• 초보 프로그래밍 학생들 중 정보기술(IT), 컴퓨터과학(CS), 정보시스템(IS) 전공 간 사용성 인식의 차이를 규명함.
• 학생들의 자가 보고한 프로그래밍에 대한 자신감과 과목의 유용성 인식이 도구 평가에 미치는 영향을 평가함.
• 특히 2차원 인터페이스에서 루프 내 변수 추적과 관련된 주요 사용성 문제를 특정하여 향후 설계 개선 방향을 제시함.
• 다양한 프로그래밍 경험 수준을 가진 학생들에게 도구가 프로그래밍 수업에서 유용한 보조 학습 도구로 기능할 수 있는지 여부를 확인함.

제안 방법

• 연구는 표준화된 10개 항목의 리커트 척도 설문지인 시스템 사용성 척도(SUS)를 사용하여 인식된 사용 용이성 수준을 측정하는 사용성 테스트를 시행함.
• 참가자는 첫 번째 프로그래밍 과정을 수강 중인 정보기술(IT), 컴퓨터과학(CS), 정보시스템(IS) 전공 학생들로, line_explorer를 시범 모드와 평가 모드에서 상호작용함.
• 이 도구는 사용자가 코드를 라인 단위로 진행할 수 있도록 하며, 격자 기반 워크시트에서 변수 값을 시각화하고, 재생 컨트롤을 통해 음성 설명을 제공함.
• 데이터는 온라인 설문지를 통해 수집되었으며, 학문 전공, 프로그래밍 경험 수준, 자가 보고한 프로그래밍 자신감 수준에 따라 분석됨.
• 이동 경로 명확성, 시각적 혼잡도, '확인' 및 '보기' 단추와 같은 피드백 메커니즘의 효과성 등 인터페이스를 평가함.
• 정량적 SUS 점수(0–100)를 산출하여 인구통계학적 및 행동적 하위군 간 비교를 통해 사용성 추세를 파악함.

실험 결과

연구 질문

• RQ1 다른 학문 배경(IT, CS, IS)을 가진 학생들이 line_explorer의 사용성에 대해 어떻게 평가하는가?
• RQ2 학생들의 자가 보고한 프로그래밍에 대한 자신감과 도구에 대한 SUS 점수 간의 관계는 어떠한가?
• RQ3 학생들이 프로그래밍 과목의 유용성에 대해 어떻게 생각하는지가 line_explorer의 사용성 평가에 어떤 영향을 미치는가?
• RQ4 학생들이 line_explorer를 사용할 때, 특히 루프 내 변수 값을 추적할 때 겪는 구체적인 사용성 문제는 무엇인가?
• RQ5 현재 line_explorer의 설계가 상호작용적 코드 추적을 통한 효과적인 학습을 어느 정도 지원하는가?

주요 결과

• IT 전공 학생들이 시범 모드(평균 58.3–62.8)와 평가 모드(평균 59.1–62.8)에서 CS 및 IS 전공 학생들보다 더 높은 SUS 점수를 보이며 더 나은 인식된 사용성 평가를 내림.
• 프로그래밍 초보자인 CS 전공 학생들은 낮은 사용성 평가를 보였음(시범 모드 평균 60.2, 평가 모드 평균 61.0), 이는 절대 초보자에게는 아직 도구가 충족시키지 못하는 요구를 가짐을 시사함.
• IS 전공 학생들이 가장 낮은 사용성 점수를 보였음(시범 모드 평균 31.2, 평가 모드 평균 40.0), 이는 이 그룹에 대해 심각한 사용성 문제 존재를 시사함.
• 프로그래밍 과목의 유용성에 대해 중립적인 태도를 가진 학생들이 가장 높은 SUS 점수를 보였음(IT 전공 평균 62.7, CS 전공 평균 62.0), 이는 도구가 이 집단에게 가장 유용할 수 있음을 시사함.
• CS 전공 학생들 중 프로그래밍 자신감이 낮은 학생들(1/5 평가)은 두 모드 모두에서 가장 낮은 SUS 점수(모두 32.5)를 기록함으로써, 자신감이 부족한 학습자에게는 사용성이 열악함을 시사함.
• 현재 인터페이스는 3차원 변수 상태(라인 + 반복)를 2차원 레이아웃에서 표현하는 데 어려움을 겪어, 특히 루프에서 인지 부하 증가와 탐색 곤란을 유발함.