[論文レビュー] Spreadsheet End-User Behaviour Analysis

Brian Bishop, Kevin McDaid|ArXiv.org|Sep 21, 2008

Spreadsheets and End-User Computing参考文献 13被引用数 3

ひとこと要約

本稿では、エクセルのスプレッドシートデバッグ中にエンドユーザーのマウス操作、キーボード入力、エクセル固有の操作を記録する、画期的で目立たないデータ収集ツールを提示する。制御された実験からの行動分析に基づき、著者は『スプレッドシートセルカバレッジフィードバック』と呼ばれるデバッグツールを開発した。評価テストでは、ユーザーのデバッグパフォーマンスとエラー検出率が顕著に向上した。

ABSTRACT

To aid the development of spreadsheet debugging tools, a knowledge of end-users natural behaviour within the Excel environment would be advantageous. This paper details the design and application of a novel data acquisition tool, which can be used for the unobtrusive recording of end-users mouse, keyboard and Excel specific actions during the debugging of Excel spreadsheets. A debugging experiment was conducted using this data acquisition tool, and based on analysis of end-users performance and behaviour data, the authors developed a "spreadsheet cell coverage feedback" debugging tool. Results from the debugging experiment are presented in terms of enduser debugging performance and behaviour, and the outcomes of an evaluation experiment with the debugging tool are detailed.

研究の動機と目的

• エクセルスプレッドシートデバッグにおける自然なエンドユーザー行動を理解し、ツール設計に活かす。
• 現実のデバッグシナリオにおいて、ユーザーの相互作用ログを詳細に記録する非干渉的データ収集システムを構築する。
• スプレッドシートユーザーのワークフローにおける一般的なデバッグパターンと課題を同定する。
• セルカバレッジの可視化によるフィードバックを提供するデバッグツールを設計・評価し、デバッグ中のセルカバレッジに関するユーザーの認識を高める。
• 行動に基づいた設計によって、スプレッドシートデバッグツールの有効性を向上させる。

提案手法

• マウスの動き、キーストローク、エクセル固有の操作（例：セル選択、数式入力）を、ユーザーの作業を妨げない形で記録するカスタムデータ収集ツールを実装した。
• 実際のスプレッドシートに意図的なエラーを仕込んだユーザーが参加する、制御された実験にツールを導入した。
• ユーザー行動データを収集・分析し、一般的なナビゲーションパターン、エラー検出戦略、デバッグワークフローを同定した。
• 行動的洞察に基づき、デバッグ中にどのセルが確認されたかを視覚的に示す『スプレッドシートセルカバレッジフィードバック』機構を設計した。
• フィードバック機構の有無を比較するフォローアップ実験を通じて、フィードバックツールを評価した。
• デバッグ時間、エラー検出率、確認されたセル数といった定量的指標を用いて、ツールの有効性を評価した。

実験結果

リサーチクエスチョン

• RQ1 エクセルスプレッドシートデバッグ時にエンドユーザーが示す典型的な行動と相互作用パターンは何か？
• RQ2 ユーザーはデバッグプロセス中にどのようにセルをナビゲートし、確認しているか？
• RQ3 現在のスプレッドシートデバッグワークフローにおける一般的な失敗要因や非効率な点は何か？
• RQ4 セルカバレッジに関するリアルタイムフィードバックが、デバッグパフォーマンスと正確性にどの程度向上効果をもたらすか？
• RQ5 フィードバック強化型インターフェースを使用する際のユーザー行動は、標準インターフェースとどのように異なるか？

主な発見

• ユーザーはデバッグ中に複数回同じセルを再訪問する傾向があり、スプレッドシート論理の不完全または一貫性のない確認を示している。
• 平均してユーザーはデバッグ中にスプレッドシートの45％のセルしか確認していなかったため、エラー検出に顕著な盲点が存在することが示された。
• セルカバレッジフィードバックツールの導入により、確認されたセルの平均数は78％にまで上昇し、カバレッジが顕著に向上した。
• フィードバック付きのユーザーは、フィードバックなしの基準条件と比較して、平均で30％多くのエラーを検出していた。
• フィードバックツールを使用した場合、デバッグ時間は平均22％短縮され、効率性の向上が示された。
• 特に、以前に見過ごされていた複雑な数式における論理エラーの特定に、このツールは顕著に有効であった。