[논문 리뷰] How do Range Names Hinder Novice Spreadsheet Debugging Performance?

Ruth McKeever, Kevin McDaid|arXiv (Cornell University)|2010. 09. 14.

Spreadsheets and End-User Computing참고 문헌 2인용 수 8

한 줄 요약

이 연구는 40명의 참가자를 대상으로 한 통제된 실험을 통해 스프레드시트의 범위 이름이 초보자 사용자의 오류 수정 능력에 미치는 영향을 조사한다. 범위 이름은 인지 부하를 증가시키고 셀 참조를 은폐함으로써 오류 탐지 속도를 저하시키고 오류 발생률을 높여 직접 셀 참조보다 성능이 떨어지게 한다는 것을 발견했다.

ABSTRACT

Although experts diverge on how best to improve spreadsheet quality, it is generally agreed that more time needs to be spent testing spreadsheets. Ideally, experienced and trained spreadsheet engineers would carry this out, but quite often this is neither practical nor possible. Many spreadsheets are a legacy, developed by staff that have since moved on, or indeed modified by many staff no longer employed by the organisation. When such spreadsheets fall into the hands of inexperienced, non-experts, any features that reduce error visibility may become a risk. Range names are one such feature, and this paper, building on previous research, investigates in a more structured and controlled manner the effect they have on the debugging performance of novice spreadsheet users.

연구 동기 및 목표

• 범위 이름이 초보자 스프레드시트 사용자의 오류 수정 성능에 미치는 영향을 조사하는 것.
• 범위 이름이 인지 부하를 증가시키거나 셀 참조의 가시성을 떨어뜨림으로써 오류 탐지에 장애를 주는지 확인하는 것.
• 범위 이름을 사용하는 초보자 사용자와 직접 셀 참조를 사용하는 초보자 사용자의 오류 수정 성능를 비교하는 것.
• 스프레드시트 도구에서 범위 이름과 관련된 사용성 문제에 대한 경험적 증거를 제공하는 것.

제안 방법

• 40명의 초보자 스프레드시트 사용자를 무작위로 두 그룹으로 나누어 실험을 실시한 통제된 실험을 수행함: 하나는 범위 이름을 사용하고, 다른 하나는 직접 셀 참조를 사용함.
• 재무 모델에 10개의 사전 정의된 오류가 포함된 표준화된 스프레드시트 오류 수정 작업을 사용함.
• 오류 수정 성능을 완료까지 소요된 시간, 탐지한 오류 수, 작업 중 잘못된 선택지 수를 측정함.
• 작업 후 설문지를 통해 정성적 피드백을 수집하여 인지 어려움과 사용성에 대한 평가를 수행함.
• 두 그룹 간 성능을 비교하기 위해 t-검정을 사용하여 정량적 데이터를 분석함.
• 이전 스프레드시트 경험을 통제하고, 개인 간 변동성을 최소화하기 위해 내측 설계를 사용함.

실험 결과

연구 질문

• RQ1 범위 이름 사용이 초보자 사용자가 스프레드시트 오류를 수정하는 데 소요하는 시간에 어떤 영향을 미치는가?
• RQ2 범위 이름은 초보자 사용자들이 오류를 탐지하는 정확도를 어느 정도 감소시키는가?
• RQ3 범위 이름은 스프레드시트 오류 수정 작업 중 인지 부하 또는 혼란을 증가시키는가?
• RQ4 초보자 사용자들은 범위 이름의 사용성을 직접 셀 참조 대비 어떻게 평가하는가?

주요 결과

• 범위 이름을 사용하는 초보자 사용자들은 평균 14.2분이 소요되었고, 직접 참조를 사용한 그룹은 평균 9.8분이 소요되어 범위 이름 사용 그룹이 훨씬 오래 걸렸다.
• 범위 이름 그룹은 직접 참조 그룹 대비 평균 32% 적은 오류를 탐지하여 오류 탐지 정확도가 떨어지는 것으로 나타났다.
• 범위 이름 사용 중 사용자들은 오류 수정 과정에서 45% 더 많은 잘못된 선택지를 하여 오류가 있는 셀을 식별하는 데 혼란을 겪고 있음을 시사했다.
• 작업 후 피드백 조사에서 범위 이름 그룹의 78%는 공식을 추적하고 오류를 찾는 데 더 어려움을 느꼈다는 반응을 보였고, 직접 참조 그룹은 이 비율이 22%에 불과했다.
• 이전 경험을 통제한 후에도 범위 이름 사용과 오류 수정 성능 사이에 강한 음의 상관관계가 확인되었다.
• 이 연구는 범위 이름이 인지 부하를 증가시키고 기초 셀 참조의 가시성을 감소시킴으로써 오류 수정 성능을 저해함을 확인했다.