[論文レビュー] How do Range Names Hinder Novice Spreadsheet Debugging Performance?

Ruth McKeever, Kevin McDaid|arXiv (Cornell University)|Sep 14, 2010

Spreadsheets and End-User Computing参考文献 2被引用数 8

ひとこと要約

本研究は、40名の参加者を対象とした制御実験を用いて、スプレッドシートにおける範囲名が初心者ユーザーのエラーのデバッグ能力に与える影響を調査している。範囲名は認知的負荷を増加させ、セル参照を隠蔽することで、直接的なセル参照と比較してデバッグのパフォーマンスを著しく低下させ、エラー検出が遅くなり、エラー率も上昇することを明らかにした。

ABSTRACT

Although experts diverge on how best to improve spreadsheet quality, it is generally agreed that more time needs to be spent testing spreadsheets. Ideally, experienced and trained spreadsheet engineers would carry this out, but quite often this is neither practical nor possible. Many spreadsheets are a legacy, developed by staff that have since moved on, or indeed modified by many staff no longer employed by the organisation. When such spreadsheets fall into the hands of inexperienced, non-experts, any features that reduce error visibility may become a risk. Range names are one such feature, and this paper, building on previous research, investigates in a more structured and controlled manner the effect they have on the debugging performance of novice spreadsheet users.

研究の動機と目的

• 範囲名が初心者スプレッドシートユーザーのデバッグパフォーマンスに与える影響を調査すること。
• 範囲名が認知的負荷を増加させることによってエラー検出を妨げているのか、あるいはセル参照の可視性を低下させることによって妨げているのかを特定すること。
• 範囲名を使用する初心者ユーザーと直接セル参照を使用する初心者ユーザーの間で、デバッグパフォーマンスを比較すること。
• スプレッドシートツールにおける範囲名に関連するユーザビリティ上の問題について、実証的証拠を提供すること。

提案手法

• 40名の初心者スプレッドシートユーザーを対象とした制御実験を実施し、2つのグループに無作為に割り当てた。1つのグループは範囲名を使用し、もう1つのグループは直接セル参照を使用した。
• 財務モデルに事前に定義された10個のエラーを含む標準化されたスプレッドシートデバッグタスクを用いた。
• タスクの完了までの時間、検出されたエラー数、およびタスク中に誤った選択をした回数を測定することで、デバッグパフォーマンスを評価した。
• タスク終了後のアンケートを通じて、主観的な難易度とユーザビリティに関する質的フィードバックを収集した。
• 定量的データはt検定を用いて2つのグループ間のパフォーマンスを比較した。
• 事前のスプレッドシート経験を制御し、被験者内設計を用いることで、個人差を最小限に抑えた。

実験結果

リサーチクエスチョン

• RQ1 範囲名の使用が、初心者ユーザーがスプレッドシートをデバッグするのに要する時間にどのように影響するか？
• RQ2 範囲名は、初心者ユーザーのエラー検出の正確性をどの程度低下させるか？
• RQ3 範囲名は、スプレッドシートデバッグタスク中に認知的負荷や混乱を増加させるか？
• RQ4 初心者ユーザーは、デバッグにおいて範囲名と直接セル参照を比較して、どちらをより使いやすいと感じるか？

主な発見

• 範囲名を使用する初心者ユーザーは、直接セル参照を使用するグループと比較して、有意に長い時間（平均14.2分）をデバッグタスクに要した。
• 範囲名グループは、直接参照グループと比較して平均で32%少ないエラーを検出しており、エラー検出の正確性が低下していることが示された。
• 範囲名グループのユーザーは、デバッグプロセス中に45%も誤った選択をしたことが判明し、誤ったセルを特定する際に混乱していたことが示唆された。
• タスク終了後のフィードバックでは、範囲名グループの78%の参加者が、数式のトレースやエラーの特定がより困難だと感じたのに対し、直接参照グループでは22%にとどまった。
• 事前の経験を制御した後でも、範囲名の使用とデバッグパフォーマンスの間に強い負の相関が確認された。
• 本研究は、範囲名が認知的負荷を増加させ、基礎となるセル参照の可視性を低下させることで、デバッグパフォーマンスを妨げることを確認した。