[논문 리뷰] Thinking is Bad: Implications of Human Error Research for Spreadsheet Research and Practice

Raymond R. Panko|arXiv (Cornell University)|2008. 01. 21.

Spreadsheets and End-User Computing참고 문헌 12인용 수 26

한 줄 요약

이 논문은 전통적인 스프레드시트 오류 감소 접근 방식—예를 들어 더 조심스럽게 생각하도록 유도하는 것—이 백년이 넘는 인간 오류 연구를 바탕으로 오히려 역효과를 낳을 수 있다고 주장한다. 사고 자체가 본질적으로 오류를 일으키기 쉽고, 스프레드시트가 오류의 근본 원인이 아니며, 오류 감소는 매우 어렵다는 점을 지적하며, 스프레드시트 관행과 연구에서 일반적으로 제시되는 권고사항들을 도전한다.

ABSTRACT

In the spreadsheet error community, both academics and practitioners generally have ignored the rich findings produced by a century of human error research. These findings can suggest ways to reduce errors; we can then test these suggestions empirically. In addition, research on human error seems to suggest that several common prescriptions and expectations for reducing errors are likely to be incorrect. Among the key conclusions from human error research are that thinking is bad, that spreadsheets are not the cause of spreadsheet errors, and that reducing errors is extremely difficult.

연구 동기 및 목표

• 조금 더 조심스럽게 생각하면 오류가 줄어든다는 광범위한 믿음을 도전하기 위해 기존의 인간 오류 연구를 바탕으로 한다.
• 스프레드시트 연구와 인간 오류 및 인지심리학 분야에서 수십 년에 걸친 발견들 사이의 괴리를 해결한다.
• 스프레드시트 설계 및 사용에서 일반적으로 쓰이는 오류 감소 전략을 재평가하여, 그것들이 효과가 없거나 오히려 역효과를 낳을 수 있음을 보여준다.
• 개인의 인지 능력이 아니라 시스템 설계에 초점을 맞춰 스프레드시트의 신뢰성을 향상시키기 위한 근거가 되는 권고안을 제시한다.
• 사용자를 비난하는 것에서 벗어나 인간의 인지적 한계를 수용하도록 시스템을 재설계하는 데 연구와 실무의 초점을 옮긴다.

제안 방법

• 항공, 의료, 원자력 등 분야에서 100년이 넘는 인간 오류 연구의 결과를 통합한다.
• 특히 정신적 부담과 주의력 한계의 역할을 고려하여 인지심리학 원리를 스프레드시트 오류 상황에 적용한다.
• 예를 들어 동료 검토, 교육, 조심스러운 사고와 같은 일반적인 스프레드시트 오류 감소 전략을 인간 오류 이론의 관점에서 분석한다.
• 오류가 발생하기 쉬운 인간의 인지 구조가 개인의 경각심에 의존하는 방식을 약화시키는 고위험 산업의 비유를 사용한다.
• 인지 능력을 통한 오류 방지에서 시스템 수준의 설계와 자동화를 통한 오류 완화로의 전환을 제안한다.
• 행동적 또는 인지적 간섭이 아닌 구조적 변화를 통해 오류를 줄이는 것이 가능한지 평가한다.

실험 결과

연구 질문

• RQ1 왜 일반적인 스프레드시트 오류 감소 전략—예를 들어 조심스러운 사고나 동료 검토—는 종종 실패하는가?
• RQ2 스프레드시트 자체가 오류의 원인이 되는가, 아니면 근본 원인이 인간의 인지적 한계에 있는가?
• RQ3 고신뢰성 산업(예: 항공, 원자력 에너지)의 발견들이 스프레드시트 오류 방지에 어떻게 적용될 수 있는가?
• RQ4 인간 오류 연구의 발견들이 더 견고한 스프레드시트 시스템과 워크플로우 설계에 어떤 영향을 미치는가?
• RQ5 왜 스프레드시트 오류를 줄이는 것이 매우 어렵고, 어떤 체계적 변화가 측정 가능한 영향을 줄 수 있는가?

주요 결과

• 사고 자체가 본질적으로 오류를 일으키기 쉽다. 인지적 노력이 증가할수록 실수가 발생할 가능성이 높아지며, 이는 조심스러운 사고가 오류를 방지한다는 가정과 정면으로 배치된다.
• 스프레드시트가 오류의 주요 원인이 아니며, 오히려 인간의 인지적 결함을 드러내고 악화시키는 도구일 뿐이다.
• 교육, 동료 검토, 조심스러운 검토와 같은 일반적인 오류 감소 전략들은 인간의 인지 능력에 의존하므로 본질적으로 오류가 발생하기 쉬운 인간의 특성 때문에 종종 효과가 없다.
• 연구 결과에 따르면 오류 감소는 인간 오류가 체계적이고 인지 구조에 깊이 뿌리내린 바이어스이기 때문에 매우 어렵다.
• 이러한 발견들은 오류 완화가 개인의 사용자 행동 개선보다는 시스템 설계, 자동화, 오류에 강건한 구조에 초점을 맞춰야 한다는 것을 암시한다.
• 고신뢰성 조직(예: 항공교통 관제, 원자력 발전소)은 사고 오류를 완전히 없애는 것이 아니라, 오류를 방지하거나 이를 포착할 수 있는 시스템을 구축함으로써 안전을 확보한다.