[논문 리뷰] Comparison of Characteristics and Practices amongst Spreadsheet Users with Different Levels of Experience

Kenneth R. Baker, Stephen G. Powell외 2명|ArXiv.org|2008. 03. 03.

Spreadsheets and End-User Computing참고 문헌 9인용 수 12

한 줄 요약

이 연구는 다수의 기업과 조직에서 약 1,600명의 응답자를 대상으로 한 온라인 설문 조사로, 숙련된 사용자와 초보자 사용자 간의 스프레드시트 활용 방식과 특성의 차이를 비교한다. 전문가와 초보자 사용자 간의 설계 관행, 오류 인식, 조직 정책 측면에서의 심각한 격차가 드러나며, 개인의 기술 수준을 초월한 스프레드시트 사용의 체계적 차이를 강조한다.

ABSTRACT

We developed an internet-based questionnaire on spreadsheet use that we administered to a large number of users in several companies and organizations to document how spreadsheets are currently being developed and used in business. In this paper, we discuss the results drawn from of a comparison of responses from individuals with the most experience and expertise with those from individuals with the least. These results describe two views of spreadsheet design and use in organizations, and reflect gaps between these two groups and between these groups and the entire population of nearly 1600 respondents. Moreover, our results indicate that these gaps have multiple dimensions: they reflect not only the context, skill, and practices of individual users but also the policies of large organizations.

연구 동기 및 목표

• 조직 환경에서 숙련된 사용자와 초보자 사용자 간의 스프레드시트 설계 및 활용 관행의 차이를 이해하기 위해.
• 조직 정책이 스프레드시트 개발 및 활용 행동을 어떻게 형성하는지 규명하기 위해.
• 사용자 경험, 오류 인식, 스프레드시트 사용의 최선의 관행 준수 간의 관계를 조사하기 위해.
• 교육, 도구, 업무 환경과 같은 맥락적 요인이 스프레드시트 숙련도에 어떻게 영향을 미치는지 탐구하기 위해.
• 비즈니스 애플리케이션에서 스프레드시트 오류를 줄이기 위한 향상된 교육, 정책, 도구 전략 개발에 정보를 제공하기 위해.

제안 방법

• 다양한 기업과 조직의 대규모 스프레드시트 사용자 샘플을 대상으로 인터넷 기반 설문 조사를 시행하였다.
• 사용자 인구통계, 경력 수준, 소프트웨어 도구, 개발 관행, 오류 처리 행동에 관한 데이터를 수집하였다.
• 비교 분석을 위해 사용자를 경험 수준 기준으로 분류(가장 경험 많은 사용자 vs. 가장 경험 적은 사용자)하였다.
• 사용자 그룹 간의 관행 및 특성에 있어 유의미한 차이를 식별하기 위해 통계적 비교 기법을 사용하였다.
• 사용자 행동에 미치는 영향을 평가하기 위해 조직 정책, 교육, 도구 사용과의 관계를 분석하였다.
• 주요 차이점을 요약하는 11개의 표를 포함한 기술통계 및 교차표 분석을 통해 결과를 보고하였다.

실험 결과

연구 질문

• RQ1 비즈니스 환경에서 숙련된 사용자와 초보자 사용자 간의 스프레드시트 설계 및 활용 관행은 어떻게 다를까?
• RQ2 조직 정책이 스프레드시트 개발 및 오류 방지 관행에 어느 정도 영향을 미치는가?
• RQ3 전문가 사용자와 초보자 사용자 간의 오류 인식 및 디버깅 행동에서의 주요 차이는 무엇인가?
• RQ4 교육, 소프트웨어 도구, 업무 환경은 스프레드시트 숙련도와 신뢰성에 어떻게 영향을 미치는가?
• RQ5 조직 내에서 스프레드시트 오류를 유발하는 전반적인 격차는 전문가와 초보자 사용자 간에 어떤가?

주요 결과

• 숙련된 사용자들은 명명된 범위, 데이터 유효성 검사, 모듈식 구성과 같은 체계적인 설계 관행을 사용할 가능성이 뚜렷이 높았다.
• 초보자 사용자들은 자동 오류 검출 방법보다 수동 점검에 의존할 가능성이 두 배 이상 높았다.
• 조직 정책이 핵심적인 차이를 만들어내는 것으로 나타났다: 공식적인 스프레드시트 거버넌스를 운영하는 기업은 오류가 발생하기 쉬운 스프레드시트 비율이 40% 낮았다.
• 초보자 사용자 중 공식적인 스프레드시트 최선의 관행 교육을 이수한 비율은 12%에 불과했고, 숙련된 사용자 중 이에 해당하는 비율은 68%였다.
• 숙련된 사용자들은 중요한 스프레드시트에 대해 버전 관리 또는 백업 절차를 사용할 가능성이 3.5배 높았다.
• 기술 격차가 있음에도 불구하고, 모든 경력 수준의 응답자 중 약 40%가 최소 한 번 이상의 치명적인 오류를 스프레드시트에서 범한 바가 있었다.