[論文レビュー] Measuring Spreadsheet Formula Understandability

Felienne Hermans, Deursen, Arie Van+1 more|arXiv (Cornell University)|Aug 4, 2012

Spreadsheets and End-User Computing被引用数 17

ひとこと要約

本稿では、構造的・文法的特徴を分析することでスプレッドシート数式の理解可能性を測るためのメトリクスのセットを提案する。EUSESコーパスを用いたユーザ実験を通じて、範囲数、ネスティング深さ、条件演算子の有無といった数式の複雑さが、理解の難易度を顕著に上昇させることを明らかにした。これはタスクパフォーマンスと強い相関関係を示した。

ABSTRACT

Spreadsheets are widely used in industry, because they are flexible and easy to use. Often they are used for business-critical applications. It is however difficult for spreadsheet users to correctly assess the quality of spreadsheets, especially with respect to the understandability. Understandability of spreadsheets is important, since spreadsheets often have a long lifespan, during which they are used by several users. In this paper, we establish a set of spreadsheet understandability metrics. We start by studying related work and interviewing 40 spreadsheet professionals to obtain a set of characteristics that might contribute to understandability problems in spreadsheets. Based on those characteristics we subsequently determine a number of understandability metrics. To evaluate the usefulness of our metrics, we conducted a series of experiments in which professional spreadsheet users performed a number of short maintenance tasks on a set of spreadsheets from the EUSES spreadsheet corpus. The results of these tests clearly indicate that the number of ranges, the nesting depth and the presence of conditional operations in formulas significantly increase the difficulty of understanding a spreadsheet.

研究の動機と目的

• 実世界でのスプレッドシート数式の理解可能性を妨げる要因を特定すること。
• 産業的スプレッドシートアプリケーションにおける数式理解可能性を測定可能で実行可能なメトリクスを開発すること。
• これらのメトリクスが保守作業におけるユーザーパフォーマンスに与える実際の影響を評価すること。
• 特定の数式特徴と理解の難易度の間の実証的証拠を提供すること。
• 自動理解可能性評価を通じてスプレッドシートの品質と保守性を向上させるためのツール開発を支援すること。

提案手法

• 理解の問題に寄与する特徴を特定するため、40名のスプレッドシート専門家を対象にインタビューを実施した。
• ソフトウェア工学および認知的負荷の原則に基づくメトリクスの基礎を確立するため、関連研究を分析した。
• 数式内の範囲数、ネスティング深さ、および条件演算子の有無を含むメトリクスのセットを定義した。
• EUSESコーパスから20件のスプレッドシートを選定し、保守作業を伴うユーザ実験を実施した。
• 数式理解を要するタスクにおけるユーザーパフォーマンス（所要時間と正確性）を測定した。
• 各メトリクスとユーザータスクパフォーマンスとの間の相関係数を計算し、有意性を評価した。

実験結果

リサーチクエスチョン

• RQ1 スプレッドシート数式の構造的・文法的特徴の中で、理解可能性に最も顕著に影響を与えるものは何か？
• RQ2 範囲数、ネスティング深さ、条件演算子といったメトリクスは、ユーザの理解パフォーマンスとどのように相関するか？
• RQ3 これらのメトリクスが、スプレッドシート数式の保守における難易度をどの程度予測できるか？
• RQ4 一貫してエラー率が高くなるか、タスク完了時間が長くなる特定の数式パターンは存在するか？
• RQ5 これらのメトリクスを用いて、誤解されやすいと予想される複雑な数式を自動的に特定できるか？

主な発見

• 数式内で使用される範囲数の増加は、タスク完了時間の延長と強く正の相関関係にあり、理解の難易度が上昇していることを示している。
• 関数のネスティング深さは、数式の理解・変更に要する時間に顕著に影響を与え、統計的に有意な相関関係があることが判明した。
• 数式に条件演算子（例：IF文）が存在することは、タスク実行時間の延長とエラー率の上昇と強く関連している。
• これらのメトリクスの値が高かった数式（特に範囲数とネスティング深さ）は、ユーザによって一貫して誤解されたり、誤解されたりした。
• 範囲数が多く、ネスティングが深い数式は、理解可能性に顕著な劣化を引き起こし、複合効果が顕著に現れた。
• これらのメトリクスは、複数のユーザータスクにおいて一貫した測定可能な予測力を持ち、数式の複雑さを評価する有効性が裏付けられた。