[논문 리뷰] What We Don't Know About Spreadsheet Errors Today: The Facts, Why We Don't Believe Them, and What We Need to Do

Raymond R. Panko|arXiv (Cornell University)|2016. 02. 02.

Spreadsheets and End-User Computing참고 문헌 39인용 수 12

한 줄 요약

이 논문은 스프레드시트 오류에 대한 경험적 증거를 종합하며, 스프레드시트 정확성에 대한 광범위한 과신에도 불구하고 큰 모델에서 오류가 흔하고 매우 감지하기 어려운 점을 주장한다. 오류를 줄이기 위해 소프트웨어 공학에서 유래한 철저한 대규모 테스트 및 코드 점검 기법을 도입할 것을 주장하며, 인간의 오류 감지에 대한 직관이 인지 편향으로 인해 위험할 정도로 잘못되어 있음을 강조한다.

ABSTRACT

Research on spreadsheet errors is substantial, compelling, and unanimous. It has three simple conclusions. The first is that spreadsheet errors are rare on a per-cell basis, but in large programs, at least one incorrect bottom-line value is very likely to be present. The second is that errors are extremely difficult to detect and correct. The third is that spreadsheet developers and corporations are highly overconfident in the accuracy of their spreadsheets. The disconnect between the first two conclusions and the third appears to be due to the way human cognition works. Most importantly, we are aware of very few of the errors we make. In addition, while we are proudly aware of errors that we fix, we have no idea of how many remain, but like Little Jack Horner we are impressed with our ability to ferret out errors. This paper reviews human cognition processes and shows first that humans cannot be error free no matter how hard they try, and second that our intuition about errors and how we can reduce them is based on appallingly bad knowledge. This paper argues that we should reject any prescription for reducing errors that has not been rigorously proven safe and effective. This paper also argues that our biggest need, based on empirical data, is to do massively more testing than we do now. It suggests that the code inspection methodology developed in software development is likely to apply very well to spreadsheet inspection.

연구 동기 및 목표

• 스프레드시트 정확성에 대한 광범위한 과신과 빈번하고 감지하기 어려운 오류의 현실 사이의 격차를 분석하기.
• 특히 오류에 대한 무지라는 인지 편향이 오류 감지 및 수정 노력에 어떻게 영향을 미치는지 조사하기.
• 현재의 오류 감소 전략이 오류에 대한 잘못된 직관과 경험적 검증 부족으로 인해 효과가 없음을 주장하기.
• 스프레드시트 신뢰성을 향상시키기 위해 소프트웨어 공학에서 유래한 체계적이고 대규모의 테스트 및 코드 점검 방법론을 도입할 것을 주장하기.
• 검증되지 않은 오류 감소 전략을 포기하고 철저히 검증된 접근 방식을 채택할 것을 촉구하기.

제안 방법

• 스프레드시트 오류에 관한 기존 경험적 연구를 검토하여 일관되고 잘 뒷받침된 발견을 특정하기.
• 오류 감지와 관련된 인간의 인지 과정을 분석하며, 특히 자기 인지 오류와 오류에 대한 무지의 역할을 중점적으로 다루기.
• 스프레드시트 개발과 전통적 소프트웨어 공학 간의 유사성을 분석하며, 특히 오류 감지를 위한 코드 점검의 활용에 초점하기.
• 임의의 디버깅을 넘어서 체계적이고 대규모의 테스트가 오류 감소의 주요 전략이 되어야 한다고 제안하기.
• 경험적으로 검증되지 않은 오류 감소 방법을 기각하며, 근거 기반 실천의 필요성을 강조하기.
• 스프레드시트 개발에 소프트웨어 공학의 점검 절차 원칙을 적용하여 신뢰성 향상하기.

실험 결과

연구 질문

• RQ1 스프레드시트 개발자와 조직은 강력한 오류 증거가 있음에도 불구하고 스프레드시트 정확성에 대해 왜 매우 과신하는가?
• RQ2 사용자가 자신이 만든 오류의 대부분을 인지하거나 감지하지 못하게 하는 인지적 메커니즘은 무엇인가?
• RQ3 스프레드시트 오류는 바닥 결과가 잘못되었을 때조차도 왜 매우 감지하기 어려운가?
• RQ4 어떤 경험적 근거 기반 전략이 스프레드시트 오류를 크게 줄일 수 있으며, 왜 현재의 접근 방식은 부적합한가?
• RQ5 소프트웨어 공학의 코드 점검과 같은 실천 방법은 어떻게 효과적으로 스프레드시트 품질 향상에 적용될 수 있는가?

주요 결과

• 스프레드시트 오류는 셀당 발생 빈도는 낮지만, 큰 스프레드시트에서는 적어도 하나의 잘못된 바닥 결과가 존재할 가능성이 매우 높다.
• 인지적 한계와 오류에 대한 무지로 인해 조사해도 오류를 매우 감지하고 수정하기 어려운 편이다.
• 사용자는 오류 감지 능력에 대해 과신하는 경향이 있으며, 이는 자기 인지 오류와 보이지 않는 오류를 인지할 수 없는 능력 부족에서 비롯된다.
• 오류 감지에 대한 인간의 직관은 근본적으로 잘못되어 있어 정확성에 대한 과대평가와 오류 발생 빈도에 대한 과소평가를 초래한다.
• 가장 중요한 필요는 현재 실천 수준을 훨씬 뛰어넘는 체계적인 테스트를 더 많이 시행하는 것이다. 이는 경험적 증거에 기반한다.
• 소프트웨어 공학에서 유래한 코드 점검 방법론은 스프레드시트 개발에 적합하게 적용될 경우 매우 효과적일 것이다.