[論文レビュー] A Spreadsheet Auditing Tool Evaluated in an Industrial Context

Markus Clermont, Christian Hanin+1 more|ArXiv.org|May 12, 2008

Spreadsheets and End-User Computing参考文献 19被引用数 32

ひとこと要約

本論文は、大規模でミッションクリティカルな産業用スプレッドシートにおけるエラーを、3つの類似基準（コピー、論理的、構造的同等性）を用いて数式構造を分析することで検出することを目的としたスプレッドシート監査ツールの評価を行っている。このツールは類似する数式を同値クラスにグループ化し、別々でリンクされたウィンドウに依存関係とパターンを可視化することで、複雑なスプレッドシートにおける不審な点を特定可能にする。本研究では78件の実世界のスプレッドシート（60,446セル）を対象に検証を行い、産業現場における有効性が示された。

ABSTRACT

Amongst the large number of write-and-throw-away spreadsheets developed for one-time use there is a rather neglected proportion of spreadsheets that are huge, periodically used, and submitted to regular update-cycles like any conventionally evolving valuable legacy application software. However, due to the very nature of spreadsheets, their evolution is particularly tricky and therefore error-prone. In our strive to develop tools and methodologies to improve spreadsheet quality, we analysed consolidation spreadsheets of an internationally operating company for the errors they contain. The paper presents the results of the field audit, involving 78 spreadsheets with 60,446 non-empty cells. As a by-product, the study performed was also to validate our analysis tools in an industrial context. The evaluated auditing tool offers the auditor a new view on the formula structure of the spreadsheet by grouping similar formulas into equivalence classes. Our auditing approach defines three similarity criteria between formulae, namely copy, logical and structural equivalence. To improve the visualization of large spreadsheets, equivalences and data dependencies are displayed in separated windows that are interlinked with the spreadsheet. The auditing approach helps to find irregularities in the geometrical pattern of similar formulas.

研究の動機と目的

• 産業現場で使用される大規模で進化を続けるスプレッドシートにおける高いエラー率に取り組むこと。これらのスプレッドシートは、その重要な役割にもかかわらず、しばしば見過ごされている。
• 構造的および数式的不整合を検出することでスプレッドシートの品質を向上させる監査ツールの開発と検証を行うこと。
• 実際の産業環境において、制御されたラボ環境を超えたツールの実用的有効性を評価すること。
• 監査担当者がエラー検出を支援できるように、数式パターンとデータ依存関係の強化された可視化を提供すること。
• 同値クラス解析を用いて、数式の幾何的配置における不規則性を特定するための手法を確立すること。

提案手法

• 監査ツールは、3つの類似基準（コピー同等性（同一の数式パターン）、論理的同等性（同じ論理的構造）、構造的同等性（同じ数式木構造））に基づき、数式を同値クラスに分類する。
• ツールは、主なスプレッドシートインターフェースと同期された別々のインタラクティブなウィンドウに、数式同等性とデータ依存関係を可視化する。
• アプローチは、構造的および論理的特徴を抽出するための数式パーサーエンジンを用い、セル間での自動比較を可能にする。
• システムは、類似する数式の空間的分布における不規則性（例：欠落または一貫性のないパターン）を強調表示することで、インタラクティブな探索を支援する。
• ツールは国際企業の78件の実世界の統合スプレッドシートに適用され、非空セルが60,446個にのぼった。
• 検証プロセスには、同定された異常事項の手動点検が含まれ、ツールが意味のあるエラーを効果的に抽出できることを確認した。

実験結果

リサーチクエスチョン

• RQ1 数式ベースの監査ツールは、大規模で産業用のスプレッドシートにおいて構造的および論理的不整合を効果的に検出できるか？
• RQ2 ツールの同値クラス分類（コピー、論理的、構造的）は、実世界の状況においてエラー検出をどの程度支援するか？
• RQ3 数式同等性とデータ依存関係の視覚的分離が、監査担当者の効果をどの程度向上させるか？
• RQ4 同様の数式の幾何的配置における不規則性を特定する際、ツールの信頼性はどの程度か？
• RQ5 複雑でレガシースプレッドシートを含む産業的文脈で、ツールを実用的に検証できるか？

主な発見

• 監査ツールは、78件の産業用スプレッドシートにおいて、類似セル間の誤って配置されたまたは一貫性のない数式などの複数の数式的不整合やエラーを正常に同定した。
• コピー、論理的、構造的同等性という3つの異なる類似基準の使用により、パターンの不規則性を包括的に検出できた。
• 数式同等性とデータ依存関係のビューを分離し、相互にリンクさせることで、監査担当者が複雑なスプレッドシートをより効果的にナビゲート・分析できるようになった。
• ツールの可視化機能により、標準的なスプレッドシートレビューでは明らかでないエラーを監査担当者が検出できるようになった。特に、繰り返しの多い大規模な数式構造において顕著だった。
• 現地評価により、ツールの実用的有用性が実産業環境で確認され、企業内のスプレッドシート品質保証プロセスへの統合の可能性が示された。
• 本研究では、頻繁に更新され、業務運営に不可欠なレガシースプレッドシートにおけるエラー同定の有効性が検証された。