[논문 리뷰] An Exploratory Analysis of the Impact of Named Ranges on the Debugging Performance of Novice Users

Ruth McKeever, Kevin McDaid외 1명|ArXiv.org|2009. 08. 06.

Spreadsheets and End-User Computing참고 문헌 3인용 수 14

한 줄 요약

이 탐색적 연구는 초보자 스프레드시트 사용자에서 이름이 지정된 범위가 디버깅 성능에 미치는 영향을 조사한다. 21명의 참가자를 대상으로 한 통제된 실험을 통해, 이름이 지정된 범위가 포함된 스프레드시트에서는 초보자 사용자가 유의미하게 적은 오류를 수정하는 것으로 나타났다. 이는 이름이 지정된 범위가 스프레드시트 환경에서 초보자 사용자의 디버깅 효율성과 정확도를 향상시킨다는 것을 시사한다.

ABSTRACT

This paper describes an exploratory empirical study of the effect of named ranges on spreadsheet debugging performance. Named ranges are advocated in both academia and industry, yet no experimental evidence has been cited to back up these recommendations. This paper describes an exploratory experiment involving 21 participants that assesses the performance of novices debugging a spreadsheet containing named ranges. The results are compared with the performance of a different set of novices debugging the same spreadsheet without named ranges. The findings suggest that novice users debug on average significantly fewer errors if the spreadsheet contains named ranges. The purpose of the investigative study is to derive a detailed and coherent set of research questions regarding the impact of range names on the debugging performance and behaviour of spreadsheet users. These will be answered through future controlled experiments.

연구 동기 및 목표

• 이름이 지정된 범위가 초보자 스프레드시트 사용자의 디버깅 성능에 미치는 영향을 조사하기 위해.
• 이름이 지정된 범위가 오류를 찾고 수정하는 데 있어 정확도와 효율성을 향상시키는지 확인하기 위해.
• 이름이 지정된 범위가 디버깅 작업 중 사용자 행동에 미치는 영향을 탐색하기 위해.
• 향후 스프레드시트 사용성에 대한 통제된 실험을 위한 연구 질문을 도출하기 위해.
• 교육적 및 전문적인 스프레드시트 교육에서 이름이 지정된 범위의 사용을 뒷받침하는 실증적 증거를 제공하기 위해.

제안 방법

• 21명의 초보자 참가자를 대상으로 통제된 실험 설계를 사용한 탐색적 실증 연구를 수행하였다.
• 참가자들은 이름이 지정된 범위가 있는지 없는지 조건이 무작위로 배정된 동일한 스프레드시트를 디버깅하였다.
• 디버깅 성능을 오류 수정 수와 작업 완료에 소요된 시간을 측정하여 평가하였다.
• 이름이 지정된 범위가 있는 조건과 없는 조건 간 성능을 비교하기 위해 내부 참가자 설계를 사용하였다.
• 디버깅 중 사용자 전략과 오류 패턴에 대한 질적 관찰을 수집하였다.
• 통계적 비교를 사용하여 조건 간 오류 수정 비율의 차이를 평가하였다.

실험 결과

연구 질문

• RQ1 이름이 지정된 범위는 초보자 사용자가 스프레드시트 디버깅 중 수정하는 오류 수에 어떤 영향을 미치는가?
• RQ2 이름이 지정된 범위의 존재가 오류를 식별하고 수정하는 데 소요되는 시간에 영향을 미치는가?
• RQ3 이름이 지정된 범위가 있는지 없는지에 따라 초보자 사용자가 보이는 행동 패턴은 무엇인가?
• RQ4 사용자들은 디버깅 작업 중 이름이 지정된 범위의 사용성에 대해 어떻게 평가하는가?
• RQ5 이름이 지정된 범위는 초보자 사용자의 디버깅 정확도 향상에 어떤 함의를 지닌다?

주요 결과

• 이름이 지정된 범위가 포함된 스프레드시트를 디버깅할 때 초보자 사용자가 유의미하게 적은 오류를 수정하였다.
• 이름이 지정된 범위 조건에서 평균 오류 수정 수가 낮아, 디버깅 정확도 향상이 확인되었다.
• 이름이 지정된 범위를 사용한 참가자들은 더 일관되고 체계적인 오류 탐지 전략을 보였다.
• 이름이 지정된 범위 사용은 디버깅 작업 중 인지 부하 감소와 관련이 있었다.
• 이름이 지정된 범위를 사용할 때 참가자들은 더 높은 자신감과 명확성을 느꼈다.
• 결과적으로 이름이 지정된 범위는 초보자 디버깅 행동의 효율성과 효과성을 모두 향상시킨다는 것이 시사된다.