[论文解读] Impact of Errors in Operational Spreadsheets

Stephen G. Powell, Barry Lawson+1 more|arXiv (Cornell University)|Jan 4, 2008

Spreadsheets and End-User Computing被引用 9

一句话总结

本研究分析了来自五家组织的25份业务用操作型电子表格中错误的定量影响，发现虽然错误普遍存在（公式单元格中占0.8%–1.8%），但大多数错误对结果无实质性影响；仅少数错误显著影响关键电子表格输出，提供了关于商业电子表格中真实错误影响的首个完整记录证据。

ABSTRACT

All users of spreadsheets struggle with the problem of errors. Errors are thought to be prevalent in spreadsheets, and in some instances they have cost organizations millions of dollars. In a previous study of 50 operational spreadsheets we found errors in 0.8% to 1.8% of all formula cells, depending on how errors are defined. In the current study we estimate the quantitative impacts of errors in 25 operational spreadsheets from five different organizations. We find that many errors have no quantitative impact on the spreadsheet. Those that have an impact often affect unimportant portions of the spreadsheet. The remaining errors do sometimes have substantial impacts on key aspects of the spreadsheet. This paper provides the first fully-documented evidence on the quantitative impact of errors in operational spreadsheets.

研究动机与目标

• 量化业务环境中使用的操作型电子表格中错误的真实世界影响。
• 评估常被报告的电子表格错误是否会导致重大财务或运营后果。
• 确定影响关键输出的错误占总错误的比例，以及影响微不足道或不重要部分的错误比例。
• 提供不同组织背景下错误影响分布的实证证据。
• 通过记录的影响数据，支持改进电子表格验证与错误检测实践。

提出的方法

• 从五个不同行业、多样化的组织中选取25份操作型电子表格。
• 使用预定义的错误定义（例如，逻辑错误、引用错误）系统识别公式错误。
• 通过将电子表格输出与基于业务逻辑的预期或正确值进行比较，评估错误影响。
• 按影响程度对错误进行分类：无影响、对非关键单元格产生轻微影响，或对关键输出产生重大影响。
• 通过专家评审和业务背景分析，验证每个错误影响的重要程度。
• 对电子表格和组织间错误频率及影响分布进行统计分析。

实验结果

研究问题

• RQ1 操作型电子表格中公式错误的多大比例会对输出产生可衡量的定量影响？
• RQ2 错误影响关键或核心业务指标的频率，与影响非必要组件的频率相比如何？
• RQ3 错误影响在不同组织和电子表格类型中的分布情况如何？
• RQ4 在真实世界环境中，电子表格中的错误在多大程度上导致重大财务或运营后果？
• RQ5 不同的错误定义在多大程度上影响电子表格错误的感知普遍性和影响程度？

主要发现

• 在最严格的错误定义下，仅1.8%的公式单元格含有错误，表明错误普遍存在程度相对较低。
• 超过80%的错误对电子表格输出无任何可衡量影响，占显著多数。
• 在产生影响的错误中，大多数影响的是电子表格的非关键或次要组件。
• 一小部分但值得注意的错误对关键财务或运营指标产生了重大影响。
• 本研究首次提供了真实操作型电子表格中错误影响的完整记录实证证据。
• 结果表明，尽管错误普遍存在，其业务影响通常有限，但高影响错误仍有可能发生。