[論文レビュー] Investigating Effects of Common Spreadsheet Design Practices on Correctness and Maintainability

Daniel Kulesz, Sebastian Zitzelsberger|arXiv (Cornell University)|Nov 29, 2012

Spreadsheets and End-User Computing参考文献 17被引用数 6

ひとこと要約

本実験的研究では、スプレッドシートの3つの一般的なベストプラクティス—数式に定数を避けること、数式の複雑さを最小限にすること、左および上にあるセルを参照すること—が、正しさと保守性を向上させるかどうかを調査している。42名の参加者による制御された実験を通じてスプレッドシートの作成と変更が行われたが、これらのプラクティスは初期の正しさに影響を及ぼさないものの、後続の変更段階で結果の正確性が顕著に向上することが明らかになった。

ABSTRACT

Spreadsheets are software programs which are typically created by end-users and often used for business-critical tasks. Many studies indicate that errors in spreadsheets are very common. Thus, a number of vendors offer auditing tools which promise to detect errors by checking spreadsheets against so-called Best Practices such as "Don't put constants in fomulae". Unfortunately, it is largely unknown which Best Practices have which actual effects on which spreadsheet quality aspects in which settings. We have conducted a controlled experiment with 42 subjects to investigate the question whether observance of three commonly suggested Best Practices is correlated with desired positive effects regarding correctness and maintainability: "Do not put constants in formulae", "keep formula complexity low" and "refer to the left and above". The experiment was carried out in two phases which covered the creation of new and the modification of existing spreadsheets. It was evaluated using a novel construction kit for spreadsheet auditing tools called Spreadsheet Inspection Framework. The experiment produced a small sample of directly comparable spreadsheets which all try to solve the same task. Our analysis of the obtained spreadsheets indicates that the correctness of "bottom-line" results is not affected by the observance of the three Best Practices. However, initially correct spreadsheets with high observance of these Best Practices tend to be the ones whose later modifications yield the most correct results.

研究の動機と目的

• 広く推奨されているスプレッドシート設計プラクティスが、現実世界の正しさと保守性に与える影響を評価すること。
• 特定のベストプラクティスとスプレッドシートの品質向上を明確に結びつける実証的証拠の欠落を埋めるための調査。
• ベストプラクティスの順守が、スプレッドシート開発の作成段階と変更段階の両方で、より正確な結果をもたらすかどうかを調査すること。
• スプレッドシートのアーティファクトを体系的に監査および比較可能なフレームワーク—スプレッドシートインスペクションフレームワーク—を構築し、適用すること。
• 同じタスクを異なる設計条件で解くスプレッドシートの小規模で直接比較可能なデータセットを生成し、厳密な分析を実施すること。

提案手法

• 2段階の制御実験を実施：第1段階は新規スプレッドシートの作成、第2段階は既存スプレッドシートの変更。
• 3つのベストプラクティスへの適合度合いが異なる状況下で、標準化されたスプレッドシートタスクを実装するため、42名の参加者を募集。
• スプレッドシートインスペクションフレームワーク（監査ツールのための新規コンストラクションキット）を採用し、スプレッドシート品質を体系的に評価。
• 設計選択に基づいてスプレッドシートを収集・比較し、最終結果の正しさと変更後の結果に注目。
• 定量的指標を用いて正しさと保守性を評価し、特に変更時の誤り伝搬に焦点を当てる。
• 統計的手法を用いて設計プラクティスと結果品質の相関関係を分析し、反復的開発の文脈での影響を検証。

実験結果

リサーチクエスチョン

• RQ1 数式に定数を避けることは、作成段階および変更段階におけるスプレッドシート結果の正しさを向上させるか？
• RQ2 数式の複雑さを低減することは、スプレッドシート開発における保守性および正しさをどの程度向上させるか？
• RQ3 左および上にあるセルを参照することは、特に変更段階において、より良い結果の正確性と関連しているか？
• RQ4 設計プラクティスは、スプレッドシートの更新時に誤りを導入する可能性にどのように影響するか？
• RQ5 ベストプラクティスに従うスプレッドシートは、時間経過による変更に対して、より誤りに強いとされるか？

主な発見

• 3つのベストプラクティスの順守は、初期のスプレッドシート結果の正しさに顕著な影響を及ぼさなかった。
• しかし、初期段階で正しかったスプレッドシートであっても、ベストプラクティスに従ったものは、変更後の結果が正しくなる可能性が顕著に高まった。
• ベストプラクティスに従ったスプレッドシートは、反復的変更における誤り伝搬に対してより高い耐性を示した。
• 本研究では、保守性の恩恵が初期開発段階よりも変更段階で顕著に現れた。
• スプレッドシートインスペクションフレームワークは、設計のバリエーションにわたるスプレッドシート品質の体系的かつ比較可能な評価を可能にした。
• 結果から、ベストプラクティスは初期の正しさを向上させないものの、長期的な信頼性と更新時の誤り低減に不可欠であることが示唆された。