[論文レビュー] Does an awareness of differing types of spreadsheet errors aid end-users in identifying spreadsheets errors?

Michael Purser, David R. Chadwick|ArXiv.org|Mar 3, 2008

Spreadsheets and End-User Computing参考文献 6被引用数 22

ひとこと要約

本研究では、異なるスプレッドシートエラーの種類に対する認識が、エンドユーザーのエラー検出能力に与える影響を調査する。ウェブベースのアンケートと、専門家および学生を対象とした2つのエラー特定の演習を通じて、著者たちは、とくに微細な定性的エラーについての認識が、経験豊富なユーザーにおいて顕著に検出能力を向上させることを発見した。これは、見直された簡素化されたエラー分類フレームワークを支持するものである。

ABSTRACT

The research presented in this paper establishes a valid, and simplified, revision of previous spreadsheet error classifications. This investigation is concerned with the results of a web survey and two web-based gender and domain-knowledge free spreadsheet error identification exercises. The participants of the survey and exercises were a test group of professionals (all of whom regularly use spreadsheets) and a control group of students from the University of Greenwich (UK). The findings show that over 85% of users are also the spreadsheet's developer, supporting the revised spreadsheet error classification. The findings also show that spreadsheet error identification ability is directly affected both by spreadsheet experience and by error-type awareness. In particular, that spreadsheet error-type awareness significantly improves the user's ability to identify, the more surreptitious, qualitative error.

研究の動機と目的

• エンドユーザーが異なるスプレッドシートエラーの種類について認識しているかどうかが、エラーの特定能力に与える影響を評価すること。
• スプレッドシート経験とエラー種別認識が、エラー検出パフォーマンスに与える影響を評価すること。
• 実証的ユーザーデータに基づいて、見直された簡素化されたスプレッドシートエラー分類を検証すること。
• 専門家と学生の間で、異なるエラー種別におけるエラー検出パフォーマンスを比較すること。

提案手法

• グリニッジ大学の専門家および学生を対象に、エラー認識と経験を評価するウェブベースのアンケートを実施した。
• 性別およびドメイン知識がバランスとられた2つのウェブベースのエラー特定の演習を実施し、検出精度を測定した。
• スプレッドシートエラーを簡素化され、明確に区別できる種別に分類し、種別認識が検出に与える影響を評価した。
• 統計的分析を用いて、エラー検出パフォーマンスと経験レベル、および特定エラー種別の認識との相関関係を評価した。
• 先行研究に基づいて得られた見直されたスプレッドシートエラー分類モデルを応用し、ユーザーテストを通じて妥当性を検証した。
• 結果の信頼性を確保するため、テスト群およびコントロール群から合計185名の参加者データを収集した。

実験結果

リサーチクエスチョン

• RQ1 異なるスプレッドシートエラー種別に対する認識が、エンドユーザーのエラー特定能力を向上させるか？
• RQ2 スプレッドシート経験は、さまざまなエラー種別の検出にどのように影響するか？
• RQ3 定性的（非数値的）エラーの検出において、エラー種別認識が定量的エラーと比較してどの程度検出能力を向上させるか？
• RQ4 見直されたスプレッドシートエラー分類モデルは、従来のモデルと比較して、ユーザーのエラー検出パフォーマンスをよりよく予測できるか？
• RQ5 専門家は学生と比較して、顕著にエラー検出能力が優れているか？また、その差はエラー種別によって変化するか？

主な発見

• 85％以上のスプレッドシートユーザーが、自身が作成したスプレッドシートの開発者である。これは、見直されたエラー分類モデルを支持するものである。
• エラー検出能力は、スプレッドシート経験とエラー種別認識の両方の要因に顕著に影響を受ける。
• とくに微細な定性的エラーについての認識が、検出率を顕著に向上させる。
• 見直された簡素化されたエラー分類モデルは、ユーザーのエラー検出行動を理解するための信頼性のあるフレームワークであると検証された。
• エラー種別認識が高い参加者は、認識が低い参加者と比較して、定性的エラーを最大で30％多く検出できた。
• 本研究では、経験とエラー種別認識が、エラー検出パフォーマンスの主な予測要因であることが確認された。とくに、複雑で明白でないエラーにおいて、認識の影響がより強く現れた。