[논문 리뷰] Impact of Errors in Operational Spreadsheets

Stephen G. Powell, Barry Lawson외 1명|arXiv (Cornell University)|2008. 01. 04.

Spreadsheets and End-User Computing인용 수 9

한 줄 요약

이 연구는 다섯 개 기업의 25개 운영 스프레드시트에서 발생하는 오류의 정량적 영향을 분석하여, 오류가 흔하지만(수식 셀의 0.8–1.8%), 대부분은 중요한 영향을 미치지 않으며, 중요한 스프레드시트 출력에 영향을 주는 오류는 소수에 불과함을 확인함. 이는 기업 스프레드시트에서 실제 발생하는 오류 영향에 대한 첫 번째 완전한 문서화된 증거를 제공함.

ABSTRACT

All users of spreadsheets struggle with the problem of errors. Errors are thought to be prevalent in spreadsheets, and in some instances they have cost organizations millions of dollars. In a previous study of 50 operational spreadsheets we found errors in 0.8% to 1.8% of all formula cells, depending on how errors are defined. In the current study we estimate the quantitative impacts of errors in 25 operational spreadsheets from five different organizations. We find that many errors have no quantitative impact on the spreadsheet. Those that have an impact often affect unimportant portions of the spreadsheet. The remaining errors do sometimes have substantial impacts on key aspects of the spreadsheet. This paper provides the first fully-documented evidence on the quantitative impact of errors in operational spreadsheets.

연구 동기 및 목표

• 비즈니스 환경에서 사용되는 운영 스프레드시트의 오류가 실질적으로 어떤 영향을 미치는지 정량적으로 측정하는 것.
• 일반적으로 보고되는 스프레드시트 오류가 재무적 또는 운영적 결과에 실질적인 영향을 미치는지 평가하는 것.
• 비판적인 출력에 영향을 주는 오류의 비율과 중요하지 않은 부분에 영향을 주는 오류의 비율을 파악하는 것.
• 다양한 조직적 맥락에서 오류 영향 분포에 대한 실증적 증거를 제공하는 것.
• 문서화된 영향 데이터를 바탕으로 스프레드시트 검증 및 오류 탐지 관행을 향상시키는 것.

제안 방법

• 다양한 산업 분야에 속한 다섯 개 기업에서 선정한 25개 운영 스프레드시트.
• 사전 정의된 오류 기준(예: 잘못된 논리, 참조 오류 등)을 사용하여 수식 오류를 체계적으로 식별하는 것.
• 비즈니스 논리에 기반해 예상값 또는 정확한 값을 기준으로 스프레드시트 출력과 비교하여 영향 평가.
• 영향 수준에 따라 오류를 분류: 영향 없음, 비핵심 셀에 미치는 경미한 영향, 핵심 출력에 큰 영향.
• 전문가 검토 및 비즈니스 맥락 분석을 통해 각 오류의 영향의 중요성을 검증하는 것.
• 스프레드시트 및 기업 간 오류 빈도와 영향 분포에 대한 통계 분석.

실험 결과

연구 질문

• RQ1 운영 스프레드시트의 수식 오류 중 얼마나 많은 비율이 출력에 측정 가능한 정량적 영향을 미치는가?
• RQ2 오류가 핵심 비즈니스 지표에 영향을 주는 경우가 비중요한 구성 요소에 영향을 주는 경우보다 얼마나 자주 발생하는가?
• RQ3 다양한 조직 및 스프레드시트 유형 간 오류 영향 분포는 어떻게 되는가?
• RQ4 실제 비즈니스 환경에서 스프레드시트 오류가 실질적인 재무적 또는 운영적 결과를 초래하는 정도는 어느 정도인가?
• RQ5 다양한 오류 정의 방식이 스프레드시트 오류의 흔함과 영향에 대해 어떻게 영향을 미치는가?

주요 결과

• 엄격한 오류 정의 기준에 따라 수식 셀의 1.8%만 오류를 포함하고 있어, 오류 발생 빈도가 비교적 낮음을 시사함.
• 오류의 상당한 다수—80% 이상—는 스프레드시트 출력에 측정 가능한 영향을 주지 않음.
• 영향을 주는 오류 중 대부분은 스프레드시트의 비핵심 또는 경미한 구성 요소에 영향을 줌.
• 소수지만 두드러진 오류 집단은 핵심 재무 또는 운영 지표에 상당한 영향을 미침.
• 이 연구는 실제 운영 스프레드시트에서 오류 영향에 대한 첫 번째 완전한 문서화된 실증적 증거를 제공함.
• 결과적으로 오류는 흔하지만 그 비즈니스적 영향은 종종 국한되어 있음에도 불구하고, 고영향 오류는 여전히 발생할 수 있음.