[论文解读] The Detection of Human Spreadsheet Errors by Humans versus Inspection (Auditing) Software
本研究比较了真实世界电子表格中的人工错误检测与自动化静态分析工具（SSATs）的表现，采用自然发生的错误而非人为植入的错误，以避免人为痕迹。结果显示，人工审查员的检测表现与SSAT相当或更优，但Excel错误检查和Spreadsheet Professional等工具在真实错误上的表现较差，凸显了当前审计软件在实际电子表格错误检测中的局限性。
Previous spreadsheet inspection experiments have had human subjects look for seeded errors in spreadsheets. In this study, subjects attempted to find errors in human-developed spreadsheets to avoid the potential artifacts created by error seeding. Human subject success rates were compared to the successful rates for error-flagging by spreadsheet static analysis tools (SSATs) applied to the same spreadsheets. The human error detection results were comparable to those of studies using error seeding. However, Excel Error Check and Spreadsheet Professional were almost useless for correctly flagging natural (human) errors in this study.
研究动机与目标
- 评估在不使用人为植入错误的情况下，人工在真实电子表格中的错误检测表现。
- 评估静态分析工具（SSATs）在检测自然发生的电子表格错误方面的有效性。
- 使用相同的、真实世界的电子表格数据集，比较人工检测率与自动化工具的表现。
- 识别广泛使用的审计工具（如Excel错误检查和Spreadsheet Professional）在实际错误检测场景中的不足之处。
提出的方法
- 从专业和学术来源收集了包含自然发生错误的真实、人工开发的电子表格。
- 招募人工受试者对电子表格进行手动检查，并在事先不知情的情况下识别错误。
- 对相同的电子表格应用静态分析工具——Excel错误检查和Spreadsheet Professional——以标记潜在错误。
- 使用相同的错误集，测量并比较人工审查员与自动化工具的检测率。
- 使用统计分析比较人工与工具的表现，重点关注错误检测的敏感性和精确性。
- 避免使用错误植入，以防止人为痕迹，并确保研究结果真实反映现实世界中的错误检测挑战。
实验结果
研究问题
- RQ1与错误检测工具相比，人工审查员在检测自然发生的电子表格错误方面的有效性如何？
- RQ2广泛使用的电子表格审计工具（如Excel错误检查和Spreadsheet Professional）在多大程度上能准确检测现实世界中的错误？
- RQ3本研究未使用错误植入是否改变了人工与自动化错误检测之间的相对表现？
- RQ4当前静态分析工具在应用于具有自然错误的真实复杂电子表格时，存在哪些关键局限性？
- RQ5在真实、非人为的错误检测情境下，人工审查员的检测率与自动化工具相比如何？
主要发现
- 人工在真实电子表格中的错误检测率与以往使用错误植入研究的结果相当，表明人工在实际场景中表现稳健。
- Excel错误检查和Spreadsheet Professional未能标记真实电子表格中相当大比例的实际错误，表明其在现实世界中的实用性较差。
- 人工审查员的检测表现优于所测试的静态分析工具，尤其是在识别逻辑和语义错误方面。
- 本研究发现，常见审计工具在检测自然错误方面效果不佳，表明当前电子表格质量保证实践中存在关键缺口。
- 结果表明，静态分析工具在审计真实世界电子表格时并不可靠，尤其是在错误具有上下文依赖性或语义复杂性时。
- 本研究强调了在存在自动化工具的情况下，人工审查在电子表格验证中的持续重要性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。