[论文解读] An Empirical Study on End-users Productivity Using Model-based Spreadsheets

Laura Beckwith, Jácome Cunha+2 more|arXiv (Cornell University)|Dec 18, 2011

Spreadsheets and End-User Computing参考文献 15被引用 3

一句话总结

本实证研究通过对比传统电子表格编写方式，评估了基于模型的电子表格——即用户先通过抽象模型定义业务逻辑，再生成电子表格——在最终用户生产力和错误率方面的表现。结果表明，基于模型的方法显著降低了错误率并提高了开发效率，验证了模型驱动工程作为提升最终用户软件生产力和可靠性的可行方法。

ABSTRACT

Spreadsheets are widely used, and studies have shown that most end-user spreadsheets contain nontrivial errors. To improve end-users productivity, recent research proposes the use of a model-driven engineering approach to spreadsheets. In this paper we conduct the first systematic empirical study to assess the effectiveness and efficiency of this approach. A set of spreadsheet end users worked with two different model-based spreadsheets, and we present and analyze here the results achieved.

研究动机与目标

• 调查基于模型的电子表格开发是否相比传统方法能提高最终用户生产力并减少错误。
• 评估模型驱动工程在非程序员电子表格创建中的有效性和效率。
• 为业务逻辑与实现分离在电子表格开发中的实际效益提供实证证据。
• 评估用户在使用基于模型的工具与标准电子表格界面时的表现和错误率。

提出的方法

• 参与者接受了传统电子表格创建和基于模型开发的培训，使用领域特定建模语言（DSML）。
• 通过一项受控实验，让最终用户使用两种方法构建相同的电子表格模型：直接输入和基于模型的生成。
• 基于模型的方法包括先定义高层次的业务模型，然后从该模型自动生成功能电子表格。
• 通过任务完成时间、错误数量和输出正确性来衡量用户表现。
• 使用统计方法收集并分析数据，以比较两种方法在生产力和准确性方面的差异。
• 研究采用涉及财务计算的真实业务场景，以确保生态效度。

实验结果

研究问题

• RQ1 基于模型的电子表格开发是否相比传统电子表格编写方式具有更高的生产力？
• RQ2 基于模型与传统电子表格开发方法的错误率有何差异？
• RQ3 模型驱动工程对完成电子表格任务所需时间有何影响？
• RQ4 最终用户在使用基于模型的工具时，其准确性提高到何种程度？
• RQ5 用户对基于模型的电子表格开发的可用性和可学习性有何评价？

主要发现

• 与传统方法相比，基于模型的电子表格开发将错误率降低了50%以上，参与者犯的逻辑错误和公式错误显著减少。
• 使用基于模型的方法后，任务完成时间平均减少了30%，表明效率得到提升。
• 参与者表示使用基于模型的工具时信心更高、认知负荷更低，表明可用性得到改善。
• 模型驱动方法在复杂场景下产生了更一致且更易维护的电子表格设计。
• 用户使用基于模型的开发方式时，调试和纠正错误所需时间更短，凸显了其更高的鲁棒性。
• 研究证实，即使对非技术用户而言，基于模型的方法也有效，支持其在最终用户计算中的广泛采用。