[論文レビュー] The Detection of Human Spreadsheet Errors by Humans versus Inspection (Auditing) Software

Salvatore Aurigemma, Raymond R. Panko|arXiv (Cornell University)|Sep 14, 2010

Spreadsheets and End-User Computing参考文献 18被引用数 14

ひとこと要約

本研究では、人工的に仕掛けたエラーではなく、現実のスプレッドシートに自然に生じたエラーを用いて、人間のエラー検出能力と自動静的解析ツール（SSAT）を比較した。結果として、人間のレビュアーはSSATの性能を上回ったか、同等の性能を示したが、Excelエラーチェックやスプレッドシートプロフェッショナルなどのツールは、現実のエラーに対しては低い性能を示した。これは、現在の監査ソフトウェアが実際のスプレッドシートエラー検出に限界を示していることを示している。

ABSTRACT

Previous spreadsheet inspection experiments have had human subjects look for seeded errors in spreadsheets. In this study, subjects attempted to find errors in human-developed spreadsheets to avoid the potential artifacts created by error seeding. Human subject success rates were compared to the successful rates for error-flagging by spreadsheet static analysis tools (SSATs) applied to the same spreadsheets. The human error detection results were comparable to those of studies using error seeding. However, Excel Error Check and Spreadsheet Professional were almost useless for correctly flagging natural (human) errors in this study.

研究の動機と目的

• 人工的にエラーを仕込まない現実のスプレッドシートにおける人間のエラー検出性能を評価すること。
• 静的解析ツール（SSAT）が自然に生じたスプレッドシートエラーをどれだけ効果的に検出できるかを評価すること。
• 同一の実際のスプレッドシートデータセットを用いて、人間の検出率と自動化ツールの性能を比較すること。
• Excelエラーチェックやスプレッドシートプロフェッショナルのような広く使われている監査ツールの、実際のエラー検出シナリオにおける欠陥を特定すること。

提案手法

• プロフェッショナルおよび学術的ソースから、自然に生じたエラーを含む実際のスプレッドシートを収集した。
• エラーの事前知識なしにスプレッドシートを手動で検査し、エラーを特定する人間の被験者を募集した。
• 同じスプレッドシートに静的解析ツール（Excelエラーチェックおよびスプレッドシートプロフェッショナル）を適用し、潜在的なエラーをマークした。
• 同じエラー集合を用いて、人間レビュアーと自動化ツールの検出率を測定し、比較した。
• 感度およびエラー検出の正確性に注目し、人間とツールの性能を統計的分析で比較した。
• 人工的なエラーの仕込みを避けることで、現実のエラー検出課題を反映した結果を得た。

実験結果

リサーチクエスチョン

• RQ1 エラー検出ツールと比較して、人間のレビュアーは自然に生じたスプレッドシートエラーをどれだけ効果的に検出できるか？
• RQ2 Excelエラーチェックやスプレッドシートプロフェッショナルのような広く使われているスプレッドシート監査ツールは、現実のエラーをどれだけ正確に検出できるか？
• RQ3 本研究ではエラーを人工的に仕込まなかったが、これにより人間と自動化エラー検出の相対的な性能に影響はあったか？
• RQ4 自然なエラーを含む現実的で複雑なスプレッドシートに適用された、現在の静的解析ツールの主な限界は何か？
• RQ5 人工的でないエラー検出文脈において、人間レビュアーの検出率は自動化ツールと比べてどうか？

主な発見

• エラーを人工的に仕込まない実際のスプレッドシートにおける人間のエラー検出率は、エラーを仕込んだ研究で得られた結果と同等であり、実際の状況下でも人間の性能が安定していることを示している。
• Excelエラーチェックおよびスプレッドシートプロフェッショナルは、実際のスプレッドシートにおける顕著なエラーの大部分を検出できず、現実世界での有用性が低いことが明らかになった。
• 人間レビュアーの検出性能は、テストされた静的解析ツールを上回っており、特に論理的・意味的エラーの検出において顕著であった。
• 本研究では、一般的な監査ツールが自然エラーを効果的に検出できないことが判明し、現在のスプレッドシート品質保証の実践に深刻なギャップがあることを示唆している。
• 結果から、静的解析ツールは、文脈依存的または意味的に複雑なエラーを含む現実のスプレッドシートの監査には信頼できないことが示された。
• 本研究は、自動化ツールが存在する中でも、スプレッドシート検証における人間レビューの継続的な重要性を強調している。