[論文レビュー] What We Don't Know About Spreadsheet Errors Today: The Facts, Why We Don't Believe Them, and What We Need to Do

Raymond R. Panko|arXiv (Cornell University)|Feb 2, 2016

Spreadsheets and End-User Computing参考文献 39被引用数 12

ひとこと要約

この論文は、スプレッドシートの誤りに関する実証的証拠を統合し、スプレッドシートの正確性に対する広範な過信にもかかわらず、大規模なモデルでは誤りが一般的であり、検出が極めて難しいと主張している。誤りを減らすために、ソフトウェア工学から取り入れた厳密で大規模なテストとコードレビューの実践を提唱しており、人間の直感による誤り検出は認知バイアスのため危険に満ちていると強調している。

ABSTRACT

Research on spreadsheet errors is substantial, compelling, and unanimous. It has three simple conclusions. The first is that spreadsheet errors are rare on a per-cell basis, but in large programs, at least one incorrect bottom-line value is very likely to be present. The second is that errors are extremely difficult to detect and correct. The third is that spreadsheet developers and corporations are highly overconfident in the accuracy of their spreadsheets. The disconnect between the first two conclusions and the third appears to be due to the way human cognition works. Most importantly, we are aware of very few of the errors we make. In addition, while we are proudly aware of errors that we fix, we have no idea of how many remain, but like Little Jack Horner we are impressed with our ability to ferret out errors. This paper reviews human cognition processes and shows first that humans cannot be error free no matter how hard they try, and second that our intuition about errors and how we can reduce them is based on appallingly bad knowledge. This paper argues that we should reject any prescription for reducing errors that has not been rigorously proven safe and effective. This paper also argues that our biggest need, based on empirical data, is to do massively more testing than we do now. It suggests that the code inspection methodology developed in software development is likely to apply very well to spreadsheet inspection.

研究の動機と目的

• スプレッドシートの正確性に対する広範な過信と、頻発し検出が難しい誤りの実態との間のギャップを分析すること。
• 人間の認知バイアス、特に誤りの無自覚性が誤り検出・是正作業を損なうメカニズムを検討すること。
• 直感的で実証的根拠のないアプローチに起因する現在の誤り低減戦略の無効性を主張すること。
• ソフトウェア工学から取り入れた、体系的かつ大規模なテストとコードレビュー手法を、スプレッドシートの信頼性向上に活用することを提唱すること。
• 実証的根拠のない誤り低減策を放棄し、厳密に検証されたアプローチに移行するよう呼びかけること。

提案手法

• スプレッドシート誤りに関する既存の実証的研究をレビューし、一貫性があり、裏付けのある発見を特定すること。
• 誤り検出に関連する人間の認知プロセスを分析し、特にメタ認知的錯覚と誤りの無自覚性の役割を検討すること。
• スプレッドシート開発と伝統的なソフトウェア工学との類似性、特に誤り検出に向けたコードレビューの活用を検討すること。
• アドホックなデバッグを超えた体系的かつ大規模なテストが、誤り低減の主要戦略であるべきだと提唱すること。
• 実証的根拠のない誤り低減手法を拒否し、証拠に基づく実践の必要性を強調すること。
• スプレッドシート開発にソフトウェア工学の検査プロセスの原則を適用し、信頼性を向上させること。

実験結果

リサーチクエスチョン

• RQ1 スプレッドシート開発者や組織は、広範な誤りの証拠があるにもかかわらず、なぜスプレッドシートの正確性に対して極めて過信しているのか？
• RQ2 ユーザーが自身が作成した誤りの大多数を認識または検出できないのは、どのような認知的メカニズムによるのか？
• RQ3 スプレッドシートの誤りは、最終的な結果が誤っているにもかかわらず、なぜ検出・是正が極めて難しいのか？
• RQ4 どのような証拠に基づく戦略がスプレッドシート誤りを顕著に低減できるのか？ なぜ現在のアプローチは不十分なのか？
• RQ5 ソフトウェア工学におけるコードレビューのような実践的プロセスを、どのように効果的にスプレッドシート開発に適応できるか？

主な発見

• スプレッドシートの1セルあたりの誤りはまれであるが、大規模なスプレッドシートでは、少なくとも1つの誤った最終結果が存在する可能性が極めて高い。
• 認知的制限と無自覚性のため、注意深くレビューを行っても、誤りは極めて検出・是正が困難である。
• ユーザーは誤り検出能力に過信しており、これはメタ認知的錯覚と、見えない誤りを認識できない能力の欠如に起因する。
• 誤り検出に関する人間の直感は根本的に誤りており、正確性の過大評価と誤りの頻度の低評価を引き起こす。
• 最も重要な要請は、現在の実践をはるかに上回る体系的で大規模なテストを実施することである。その根拠は実証的証拠に基づく。
• ソフトウェア工学におけるコードレビュー手法は、スプレッドシート開発に適応された場合、極めて有効である可能性が高い。