[논문 리뷰] Does an awareness of differing types of spreadsheet errors aid end-users in identifying spreadsheets errors?

Michael Purser, David R. Chadwick|ArXiv.org|2008. 03. 03.

Spreadsheets and End-User Computing참고 문헌 6인용 수 22

한 줄 요약

이 연구는 다양한 스프레드시트 오류 유형에 대한 인지가 최종 사용자의 오류 탐지 능력을 향상시키는지 조사한다. 온라인 설문조사와 전문가 및 학생들을 대상으로 한 두 가지 오류 식별 테스트를 통해, 특히 미묘한 정성적 오류에 대한 인지가 경험 많은 사용자에서 특히 뚜렷하게 오류 탐지 능력을 향상시키며, 이는 간소화된 오류 분류 프레임워크의 타당성을 뒷받침한다.

ABSTRACT

The research presented in this paper establishes a valid, and simplified, revision of previous spreadsheet error classifications. This investigation is concerned with the results of a web survey and two web-based gender and domain-knowledge free spreadsheet error identification exercises. The participants of the survey and exercises were a test group of professionals (all of whom regularly use spreadsheets) and a control group of students from the University of Greenwich (UK). The findings show that over 85% of users are also the spreadsheet's developer, supporting the revised spreadsheet error classification. The findings also show that spreadsheet error identification ability is directly affected both by spreadsheet experience and by error-type awareness. In particular, that spreadsheet error-type awareness significantly improves the user's ability to identify, the more surreptitious, qualitative error.

연구 동기 및 목표

• 최종 사용자의 다양한 스프레드시트 오류 유형에 대한 인지가 오류 식별 능력을 향상시키는지 평가하기.
• 스프레드시트 경험과 오류 유형 인지가 오류 탐지 성능에 미치는 영향 평가하기.
• 실제 사용자 데이터를 기반으로 개선된, 간소화된 스프레드시트 오류 분류 체계를 검증하기.
• 전문가와 학생 간 다양한 오류 유형에서의 오류 탐지 성능 비교하기.

제안 방법

• 그리니치 대학교의 전문가 및 학생들을 대상으로 온라인 설문조사 실시하여 오류 인지 및 경험 수준 평가하기.
• 성별 및 영역 지식이 균형 잡힌 두 가지 온라인 테스트를 실시하여 오류 탐지 정확도 측정하기.
• 스프레드시트 오류를 간소화되고 명확한 유형으로 분류하여 오류 유형 인지가 탐지에 미치는 영향 평가하기.
• 통계적 분석을 통해 오류 탐지 성능과 경험 수준, 특정 오류 유형 인지 간 상관관계 분석하기.
• 이전 연구를 바탕으로 개선된 스프레드시트 오류 분류 모델을 적용하고 사용자 테스트를 통해 검증하기.
• 검증된 결과의 타당성을 확보하기 위해 테스트 및 대조군에서 총 185명의 참가자 데이터 수집하기.

실험 결과

연구 질문

• RQ1 다양한 스프레드시트 오류 유형에 대한 인지가 최종 사용자의 오류 식별 능력을 향상시키는가?
• RQ2 스프레드시트 경험은 다양한 오류 유형의 탐지에 어떻게 영향을 미치는가?
• RQ3 정량적 오류에 비해 정성적(비숫자적) 오류 탐지에 있어 오류 유형 인지가 얼마나 높은 수준으로 향상되는가?
• RQ4 개선된 스프레드시트 오류 분류 모델은 이전 모델보다 사용자 오류 탐지 성능을 더 잘 예측하는가?
• RQ5 전문가가 학생보다 오류 탐지에서 유의미하게 더 효과적인가? 이 차이가 오류 유형에 따라 달라지는가?

주요 결과

• 85% 이상의 스프레드시트 사용자가 자신이 사용하는 스프레드시트의 개발자이므로, 개선된 오류 분류 모델을 뒷받침한다.
• 오류 탐지 능력은 스프레드시트 경험과 오류 유형 인지의 영향을 크게 받는다.
• 특히 미묘한 정성적 오류에 대한 인지가 탐지율을 크게 향상시킨다.
• 개선된 간소화된 오류 분류 모델은 사용자 오류 탐지 행동을 이해하는 데 신뢰할 수 있는 프레임워크로 검증되었다.
• 오류 유형 인지가 높은 참가자는 인지가 없는 참가자 대비 정성적 오류를 최대 30% 더 많이 탐지했다.
• 연구는 경험과 오류 유형 인지가 오류 탐지 성능의 핵심 예측 요소임을 확인하였으며, 특히 복잡하고 명백하지 않은 오류에서는 인지가 더 큰 영향을 미친다.