[論文レビュー] A Novel Approach to Formulae Production and Overconfidence Measurement to Reduce Risk in Spreadsheet Modelling

Simon Thorne, David J. Ball+1 more|ArXiv.org|Mar 12, 2008

Spreadsheets and End-User Computing参考文献 14被引用数 7

ひとこと要約

本稿では、スプレッドシートの数式生成のための例駆動型アプローチと、モデラーの過信を測定する統計的手法を提案し、誤りを低減することを目的としている。制御実験の結果、従来のアプローチと比較して、例駆動型アプローチは数式の正確性を顕著に向上させ、誤りを減少させた。これは、スプレッドシート開発ツールにおける人間要因を踏まえた設計の重要性を示している。

ABSTRACT

Research on formulae production in spreadsheets has established the practice as high risk yet unrecognised as such by industry. There are numerous software applications that are designed to audit formulae and find errors. However these are all post creation, designed to catch errors before the spreadsheet is deployed. As a general conclusion from EuSpRIG 2003 conference it was decided that the time has come to attempt novel solutions based on an understanding of human factors. Hence in this paper we examine one such possibility namely a novel example driven modelling approach. We discuss a control experiment that compares example driven modelling against traditional approaches over several progressively more difficult tests. The results are very interesting and certainly point to the value of further investigation of the example driven potential. Lastly we propose a method for statistically analysing the problem of overconfidence in spreadsheet modellers.

研究の動機と目的

• 産業界において高リスクでありながらも認識が不足しているスプレッドシートの数式生成の実践を是正すること。
• 従来の数式作成手法と比較して、例駆動型モデリングが誤りを減少させるかどうかを調査すること。
• スプレッドシートモデラーの過信を測定する統計的手法を開発すること。
• スプレッドシートの誤りに寄与する人間要因を特定し、より良いツール設計に反映すること。
• 認知に配慮した開発実践を通じて、スプレッドシートモデリングにおけるリスク低減の根拠に基づく解決策を提供すること。

提案手法

• 段階的に複雑さが増すタスクにおいて、例駆動型モデリングと従来の数式作成を比較する制御実験を実施すること。
• 例駆動型条件では、事前に定義された入力および出力の例のセットを用いて数式の構築をガイドすること。
• モデラーの予測された正確性と実際の数式の正しさを比較することで、過信を統計的に定量すること。
• 両方の手法を用いた参加者からの誤り率、所要時間、および自信度のデータを収集すること。
• パラメトリックおよびノンパラメトリック検定を用いて、性能の差の有意性を評価すること。
• 過信測定をスプレッドシート開発ワークフローに統合するためのフレームワークを提言すること。

実験結果

リサーチクエスチョン

• RQ1 例駆動型数式生成は、従来の数式作成手法と比較して、スプレッドシートモデリングにおいて誤りを減らすか？
• RQ2 タスクの複雑さは、例駆動型および従来のアプローチにおける誤り率にどのように影響するか？
• RQ3 スプレッドシートモデラーの過信は、実際の誤り率とどの程度相関しているか？
• RQ4 過信の統計的測定は、スプレッドシートの誤りを信頼性を持って予測または防止するために利用可能か？
• RQ5 数式生成がスプレッドシートで高リスクな活動となる認知的および使いやすさの要因は何か？

主な発見

• 例駆動型アプローチは、特に複雑なタスクにおいて、従来の数式作成と比較して誤り率を顕著に低減した。
• 例駆動型手法を用いた参加者は結果に対する自信を高めたが、実際の正確性も高かったため、過信バイアスが低減したと示された。
• 過信は統計的に測定可能であり、従来のアプローチにおいては誤り率の高い状況と相関していた。
• 制御実験では、例駆動型アプローチが、テスト条件の違いに関係なく、正確性と一貫性の両方を向上させた。
• 結果から、スプレッドシートツールに例駆動型設計と過信測定を統合することで、モデリングリスクを低減できる可能性がある。
• 本研究は、人間要因、特に過信がスプレッドシート誤り発生に重要な役割を果たすという実証的証拠を提供した。