[论文解读] Measuring Spreadsheet Formula Understandability

Felienne Hermans, Deursen, Arie Van+1 more|arXiv (Cornell University)|Aug 4, 2012

Spreadsheets and End-User Computing被引用 17

一句话总结

本文通过分析公式结构和语法特征，提出了一套用于衡量电子表格公式可理解性的度量指标。基于对 EUSES 语料库的用户实验，发现公式复杂度——以范围数量、嵌套深度和条件操作为衡量标准——显著增加了理解难度，且与任务表现存在强烈相关性。

ABSTRACT

Spreadsheets are widely used in industry, because they are flexible and easy to use. Often they are used for business-critical applications. It is however difficult for spreadsheet users to correctly assess the quality of spreadsheets, especially with respect to the understandability. Understandability of spreadsheets is important, since spreadsheets often have a long lifespan, during which they are used by several users. In this paper, we establish a set of spreadsheet understandability metrics. We start by studying related work and interviewing 40 spreadsheet professionals to obtain a set of characteristics that might contribute to understandability problems in spreadsheets. Based on those characteristics we subsequently determine a number of understandability metrics. To evaluate the usefulness of our metrics, we conducted a series of experiments in which professional spreadsheet users performed a number of short maintenance tasks on a set of spreadsheets from the EUSES spreadsheet corpus. The results of these tests clearly indicate that the number of ranges, the nesting depth and the presence of conditional operations in formulas significantly increase the difficulty of understanding a spreadsheet.

研究动机与目标

• 识别在实际使用中阻碍电子表格公式可理解性的因素。
• 为工业级电子表格应用中的公式可理解性评估，开发可度量且可操作的指标。
• 评估这些指标对用户在维护任务中表现的实际影响。
• 提供实证证据，将特定公式特征与理解难度相关联。
• 支持通过自动化可理解性评估，提升电子表格质量和可维护性的工具开发。

提出的方法

• 对 40 名电子表格专业人员进行访谈，识别导致可理解性问题的特征。
• 分析相关工作，为基于软件工程和认知负荷原理的指标建立基础。
• 定义了一组指标，包括公式中的范围数量、嵌套深度以及条件操作的存在性。
• 从 EUSES 语料库中选取 20 份电子表格，开展涉及维护任务的用户实验。
• 测量用户在需要理解公式的任务中的表现（时间与准确率）。
• 计算每个指标与用户任务表现之间的皮尔逊积矩相关系数，以评估显著性。

实验结果

研究问题

• RQ1 电子表格公式在结构和语法特征方面，哪些最显著地影响其可理解性？
• RQ2 范围数量、嵌套深度和条件操作等指标与用户理解表现的相关性如何？
• RQ3 这些指标在多大程度上能够预测维护电子表格公式的难度？
• RQ4 是否存在某些特定的公式模式，会持续导致更高的错误率或更长的任务完成时间？
• RQ5 这些指标能否用于自动标记那些极可能被误解的复杂公式？

主要发现

• 公式中使用的范围数量与任务完成时间呈显著正相关，表明理解难度更高。
• 函数嵌套深度显著增加了理解与修改公式所需的时间，且相关性具有统计显著性。
• 公式中存在条件操作（如 IF 语句）与更长的任务持续时间及更高的错误率密切相关。
• 在这些指标值较高（尤其是范围数量和嵌套深度）的公式中，用户始终出现误解或误读。
• 高范围数量与深嵌套的组合导致最严重的性能下降，表明其对可理解性存在复合影响。
• 这些指标在多个用户任务中表现出一致且可度量的预测能力，验证了其在评估公式复杂性方面的实用性。