[论文解读] Investigating Effects of Common Spreadsheet Design Practices on Correctness and Maintainability

Daniel Kulesz, Sebastian Zitzelsberger|arXiv (Cornell University)|Nov 29, 2012

Spreadsheets and End-User Computing参考文献 17被引用 6

一句话总结

本实验研究调查了三种常见的电子表格最佳实践——避免在公式中使用常量、降低公式复杂度、引用左侧和上方的单元格——是否能提升正确性和可维护性。通过一项包含42名参与者创建和修改电子表格的受控实验，作者发现，尽管这些实践对初始正确性无显著影响，但它们能显著提高后期修改过程中的结果准确性。

ABSTRACT

Spreadsheets are software programs which are typically created by end-users and often used for business-critical tasks. Many studies indicate that errors in spreadsheets are very common. Thus, a number of vendors offer auditing tools which promise to detect errors by checking spreadsheets against so-called Best Practices such as "Don't put constants in fomulae". Unfortunately, it is largely unknown which Best Practices have which actual effects on which spreadsheet quality aspects in which settings. We have conducted a controlled experiment with 42 subjects to investigate the question whether observance of three commonly suggested Best Practices is correlated with desired positive effects regarding correctness and maintainability: "Do not put constants in formulae", "keep formula complexity low" and "refer to the left and above". The experiment was carried out in two phases which covered the creation of new and the modification of existing spreadsheets. It was evaluated using a novel construction kit for spreadsheet auditing tools called Spreadsheet Inspection Framework. The experiment produced a small sample of directly comparable spreadsheets which all try to solve the same task. Our analysis of the obtained spreadsheets indicates that the correctness of "bottom-line" results is not affected by the observance of the three Best Practices. However, initially correct spreadsheets with high observance of these Best Practices tend to be the ones whose later modifications yield the most correct results.

研究动机与目标

• 评估广泛推荐的电子表格设计实践在现实世界中对正确性和可维护性的影响。
• 填补现有实证证据的空白，即特定最佳实践是否能带来电子表格质量的可测量提升。
• 调查遵循最佳实践是否能在电子表格开发的创建和修改两个阶段均带来更准确的结果。
• 开发并应用一种新型框架——电子表格检查框架（Spreadsheet Inspection Framework），以实现对电子表格成果的系统性审计与比较。
• 生成一个小型、可直接比较的电子表格数据集，这些电子表格在不同设计条件下解决了同一任务，以支持严谨分析。

提出的方法

• 开展一项受控的两阶段实验：第一阶段为创建新电子表格，第二阶段为修改现有电子表格。
• 招募42名参与者，在不同遵循程度下实施标准化的电子表格任务。
• 采用电子表格检查框架（一种新型审计工具构建套件），对电子表格质量进行系统性评估。
• 根据设计选择收集并比较电子表格，重点关注最终结果的正确性及修改后的结果。
• 使用定量指标评估正确性和可维护性，特别关注修改过程中错误传播的情况。
• 采用统计方法分析数据，以关联设计实践与结果质量，尤其关注迭代开发环境下的表现。

实验结果

研究问题

• RQ1 避免在公式中使用常量是否能提升电子表格结果在创建和修改阶段的正确性？
• RQ2 降低公式复杂度在多大程度上能提升电子表格开发中的可维护性和正确性？
• RQ3 引用左侧和上方的单元格是否与更高的结果准确性相关，尤其是在修改阶段？
• RQ4 设计实践如何影响在电子表格更新过程中引入错误的可能性？
• RQ5 遵循最佳实践的电子表格在随时间推移的修改过程中是否更具抗错能力？

主要发现

• 遵循三项最佳实践对初始电子表格结果的正确性无显著影响。
• 然而，初始即正确的电子表格若遵循了最佳实践，在后续修改后更有可能产生正确结果。
• 遵循最佳实践的电子表格在迭代修改过程中表现出更强的抗错误传播能力。
• 研究发现，可维护性的优势在修改阶段尤为明显，而非初始开发阶段。
• 电子表格检查框架成功实现了对不同设计变体下电子表格质量的系统性、可比性评估。
• 结果表明，尽管最佳实践可能无法提升初始正确性，但它们对长期可靠性及更新过程中的错误减少至关重要。