[論文レビュー] An Empirical Study on End-users Productivity Using Model-based Spreadsheets

Laura Beckwith, Jácome Cunha+2 more|arXiv (Cornell University)|Dec 18, 2011

Spreadsheets and End-User Computing参考文献 15被引用数 3

ひとこと要約

本研究は、ユーザーが抽象的なモデルを定義してスプレッドシートを生成するモデルベースのスプレッドシート—従来のスプレッドシート作成法と比較して、エンドユーザの生産性とエラー率を評価する実験的調査である。結果は、モデルベースのアプローチがエラーを顕著に低減し、開発効率を向上させることを示しており、モデル駆動型工学がエンドユーザのソフトウェア生産性と信頼性を向上させる有効な手法であることを裏付けている。

ABSTRACT

Spreadsheets are widely used, and studies have shown that most end-user spreadsheets contain nontrivial errors. To improve end-users productivity, recent research proposes the use of a model-driven engineering approach to spreadsheets. In this paper we conduct the first systematic empirical study to assess the effectiveness and efficiency of this approach. A set of spreadsheet end users worked with two different model-based spreadsheets, and we present and analyze here the results achieved.

研究の動機と目的

• モデルベースのスプレッドシート開発が、従来の方法と比較してエンドユーザの生産性を向上させ、エラーを低減するかどうかを調査すること。
• 非プログラマー向けのスプレッドシート作成におけるモデル駆動型工学の効果性と効率性を評価すること。
• スプレッドシート開発におけるビジネス論理と実装の分離の実用的利点を実証的証拠で示すこと。
• エンドユーザがモデルベースのツールと標準的なスプレッドシートインターフェースの両方を使用した際のパフォーランスとエラー率を評価すること。

提案手法

• 参加者は、ドメイン固有のモデリング言語（DSML）を用いて、従来のスプレッドシート作成法とモデルベース開発法の両方の訓練を受ける。
• エンドユーザを対象に、同一のスプレッドシートモデルを二つのアプローチ（直接入力とモデル駆動生成）で作成させる制御された実験を実施した。
• モデルベースのアプローチでは、まず高レベルのビジネスモデルを定義し、その後そのモデルから自動的にスプレッドシートを生成した。
• ユーザーのパフォーマンスは、タスク完了時間、エラー数、出力の正しさの指標で測定された。
• 生産性と正確性の比較のため、統計的手法を用いてデータを収集・分析した。
• 生態的妥当性を確保するため、実世界のビジネスシナリオ（財務計算を含む）を用いた。

実験結果

リサーチクエスチョン

• RQ1 モデルベースのスプレッドシート開発は、従来のスプレッドシート作成法と比較して、より高い生産性をもたらすか？
• RQ2 モデルベースと従来のスプレッドシート開発法の間で、エラー率にどのような差が生じるか？
• RQ3 モデル駆動型工学は、スプレッドシートタスクの完了に要する時間にどのような影響を与えるか？
• RQ4 エンドユーザは、モデルベースのツールを使用することで、どの程度高い正確性を達成できるか？
• RQ5 ユーザーは、モデルベースのスプレッドシート開発の使いやすさと習得のしやすさをどのように評価するか？

主な発見

• モデルベースのスプレッドシート開発は、従来の方法と比較してエラー率を50％以上低減し、論理的エラーや数式エラーが顕著に減少した。
• モデルベースのアプローチを用いることで、タスク完了時間は平均30％短縮され、効率の向上が示された。
• モデルベースのツールを使用した際、参加者はより高い自信と低い認知的負荷を報告しており、使いやすさの向上が示唆された。
• モデル駆動型アプローチは、特に複雑なシナリオにおいて、より一貫性があり保守性の高いスプレッドシート設計をもたらした。
• モデルベース開発では、エラーのデバッグや是正に要する時間が短縮されたため、より高い耐障害性が示された。
• 本研究は、非技術的ユーザーに対してもモデルベース手法が有効であることを確認しており、エンドユーザコンピューティング分野における広範な導入を支持するものである。