[논문 리뷰] Spreadsheet Errors: What We Know. What We Think We Can Do

Raymond R. Panko|ArXiv.org|2008. 02. 23.

Spreadsheets and End-User Computing참고 문헌 30인용 수 109

한 줄 요약

이 논문은 스프레드시트 오류에 관한 15년 간의 연구를 종합하여, 이들이 광범위하고 심각하다는 점을 확인한다. 셀 단위의 코드 점검이 오류 감소에 유일하게 입증된 효과적인 기법임을 밝히며, 많은 일반적으로 제안되는 방법들이 구현이 용이하지만 효과가 없을 가능성이 크다는 경고를 제기하고, 대체 접근법에 대한 추가 연구가 필요하다고 주장한다.

ABSTRACT

Fifteen years of research studies have concluded unanimously that spreadsheet errors are both common and non-trivial. Now we must seek ways to reduce spreadsheet errors. Several approaches have been suggested, some of which are promising and others, while appealing because they are easy to do, are not likely to be effective. To date, only one technique, cell-by-cell code inspection, has been demonstrated to be effective. We need to conduct further research to determine the degree to which other techniques can reduce spreadsheet errors.

연구 동기 및 목표

• 스프레드시트 오류에 관한 15년 간의 연구 결과를 종합하고, 의사결정에 미치는 영향을 분석하기.
• 스프레드시트 오류 감소를 위한 다양한 제안된 기법의 효과성을 평가하기.
• 실험적으로 입증된 오류 탐지 전략과 단지 매력적으로만 보이지만 실제로는 효과가 없는 전략을 식별하기.
• 검증되지 않은 오류 감소 기법의 효능에 대한 향후 연구를 촉구하기.
• 스프레드시트 신뢰성 향상에 있어 증거 기반 접근법의 절실한 필요성을 강조하기.

제안 방법

• 스프레드시트 오류에 관한 15년 간의 실증 연구에 대한 체계적 검토.
• 실험적으로 효과가 입증된 기법과 그렇지 않은 기법으로 제안된 오류 감소 기법을 분류하기.
• 구현 가능성, 구현 용이성, 그리고 실증적 검증 기반으로 기법을 평가하기.
• 연구를 통해 효과가 입증된 유일한 방법으로 셀 단위의 코드 점검에 초점 맞추기.
• 검증되지 않았지만 유망한 기법들을 실제로 효과가 입증된 기준과 비교하기.
• 향후 연구에서 통제된 실험을 통해 대체 방법의 효능을 테스트할 것을 촉구하기.

실험 결과

연구 질문

• RQ1 실제 응용에서 스프레드시트 오류의 보편성과 심각도는 어떠한가?
• RQ2 어떤 오류 탐지 기법들이 실증적으로 효과가 입증되었는가?
• RQ3 왜 많은 일반적으로 제안되는 기법들이 사용의 용이성에도 불구하고 오류를 줄이지 못하는가?
• RQ4 현재 스프레드시트 오류의 식별 및 방지에 대한 접근법의 한계는 무엇인가?
• RQ5 검증되지 않은 오류 감소 전략의 효능을 규명하기 위해 향후 어떤 연구가 필요한가?

주요 결과

• 스프레드시트 오류는 흔하고 무시할 수 없으며, 실제 세계에서 심각한 결과를 초래한다.
• 셀 단위의 코드 점검이 오류 감소에 있어 유일하게 실증적으로 입증된 효과적인 기법이다.
• 많은 일반적으로 제안되는 기법들은 구현이 용이하지만, 실증적 근거가 부족하여 효과가 없을 가능성이 크다.
• 제안된 오류 감소 전략의 실제 효능에 관한 연구 격차가 심각하게 존재한다.
• 현재 지식 수준은 대체 방법을 평가하기 위해 더 철저하고 통제된 연구가 필요하다는 점을 강조한다.
• 문제의 심각성은 널리 인식되고 있음에도 불구하고, 제안된 해결책의 유효성을 검증하기 위한 체계적인 노력은 거의 이루어지지 않았다.