[论文解读] A Novel Approach to Formulae Production and Overconfidence Measurement to Reduce Risk in Spreadsheet Modelling

Simon Thorne, David J. Ball+1 more|ArXiv.org|Mar 12, 2008

Spreadsheets and End-User Computing参考文献 14被引用 7

一句话总结

本文提出了一种基于示例的表格公式生成方法，以及一种衡量建模者过度自信的统计方法，旨在减少错误。受控实验表明，与传统方法相比，基于示例的方法显著提高了公式的准确性并减少了错误，凸显了在表格开发工具中融入人因因素设计的必要性。

ABSTRACT

Research on formulae production in spreadsheets has established the practice as high risk yet unrecognised as such by industry. There are numerous software applications that are designed to audit formulae and find errors. However these are all post creation, designed to catch errors before the spreadsheet is deployed. As a general conclusion from EuSpRIG 2003 conference it was decided that the time has come to attempt novel solutions based on an understanding of human factors. Hence in this paper we examine one such possibility namely a novel example driven modelling approach. We discuss a control experiment that compares example driven modelling against traditional approaches over several progressively more difficult tests. The results are very interesting and certainly point to the value of further investigation of the example driven potential. Lastly we propose a method for statistically analysing the problem of overconfidence in spreadsheet modellers.

研究动机与目标

• 解决工业界中高风险但未被充分认识的表格公式生成实践问题。
• 调查基于示例的建模是否相比传统公式生成方法能减少错误。
• 开发一种统计方法，用于衡量表格建模者中的过度自信程度。
• 识别导致表格错误的人因因素，并为更好的工具设计提供依据。
• 通过认知意识驱动的开发实践，提供基于证据的解决方案，以降低表格建模中的风险。

提出的方法

• 开展一项受控实验，比较在逐步复杂任务中，基于示例的建模与传统公式生成方法的差异。
• 在基于示例的条件下，使用一组预定义的输入和输出示例来指导公式构建。
• 通过比较建模者对准确性的主观判断与实际公式正确性，应用统计分析来量化过度自信程度。
• 收集参与者使用两种方法时的错误率、耗时和信心水平数据。
• 使用参数检验与非参数检验分析结果，评估两种方法在性能差异上的显著性。
• 提出一种将过度自信测量整合到表格开发工作流程中的框架。

实验结果

研究问题

• RQ1 基于示例的公式生成是否相比传统公式生成方法能产生更少的错误？
• RQ2 任务复杂度如何影响基于示例和传统方法的错误率？
• RQ3 表格建模者中的过度自信程度在多大程度上与实际错误率相关？
• RQ4 能否通过统计方法可靠地测量过度自信，以预测或预防表格错误？
• RQ5 哪些认知与可用性因素使得表格公式生成成为一项高风险活动？

主要发现

• 与传统公式生成方法相比，基于示例的方法显著降低了错误率，尤其是在更复杂的任务中。
• 使用基于示例方法的参与者报告了更高的信心水平，但实际准确性也更高，表明过度自信偏差有所降低。
• 过度自信在统计上可被测量，并且与传统方法中的更高错误率相关。
• 控制实验表明，基于示例的方法在所有测试条件下均提高了准确性和一致性。
• 结果表明，将基于示例的设计与过度自信测量整合到表格工具中，可降低建模风险。
• 本研究提供了实证证据，表明人因因素，尤其是过度自信，在表格错误生成中起着关键作用。