[論文レビュー] Spreadsheet Auditing Software

David Nixon, Mike O'Hara|arXiv (Cornell University)|Jan 25, 2010

Statistics Education and Methodologies参考文献 1被引用数 11

ひとこと要約

本稿は、エラー検出の有効性、監査官の支援の仕方、全体的な有用性を評価するためにスプレッドシート監査ソフトウェアツールを評価する。多くのツールが利用可能であるものの、その検出能力には顕著な差があり、特定のエラー種別を除き、どのツールもすべてのエラー種別で優れているわけではない。これは、スプレッドシートリスク管理におけるツールの改善と標準化された監査手法の必要性を示している。

ABSTRACT

It is now widely accepted that errors in spreadsheets are both common and potentially dangerous. Further research has taken place to investigate how frequently these errors occur, what impact they have, how the risk of spreadsheet errors can be reduced by following spreadsheet design guidelines and methodologies, and how effective auditing of a spreadsheet is in the detection of these errors. However, little research exists to establish the usefulness of software tools in the auditing of spreadsheets. This paper documents and tests office software tools designed to assist in the audit of spreadsheets. The test was designed to identify the success of software tools in detecting different types of errors, to identify how the software tools assist the auditor and to determine the usefulness of the tools.

研究の動機と目的

• スプレッドシート監査におけるソフトウェアツールの有用性を評価し、ツールの有効性に関する研究の空白を埋める。
• 監査ツールが監査官がエラーを検出するのをどのように支援するかを特定する。
• さまざまな種類のスプレッドシートエラーの検出に、異なるツールの成功率を評価する。
• 将来のツール開発およびベンチマークのための、利用可能な監査ツールの歴史的・比較的分析を提供する。

提案手法

• 本研究は、機能性とエラー検出能力に焦点を当て、スプレッドシート監査を目的とした既存のオフィスソフトウェアツールを評価する。
• 制御されたテスト環境を用いて、数式エラー、論理エラー、データ入力エラーを含むさまざまな種類のスプレッドシートエラーの検出能力を評価した。
• 研究者たちは、ツールのユーザーインターフェース、レポート機能、Excelなどのスプレッドシートアプリケーションとの統合性を分析した。
• 複数のツール間での比較分析を通じて、エラー検出および使いやすさにおける強みと弱みを特定した。
• 検出精度とツールのパフォーマンスを測定するために、事前に定義されたエラーシナリオを用いた実証的テストに依拠した。
• すべての発見は、スプレッドシートリスクおよびソフトウェア工学のベストプラクティスの広範な文脈の中で文脈づけられた。

実験結果

リサーチクエスチョン

• RQ1 スプレッドシート監査ソフトウェアツールは、さまざまな種類のエラーをどの程度効果的に検出できるか？
• RQ2 これらのツールは、スプレッドシート監査プロセス中に監査官をどのように支援するか？
• RQ3 これらのツールの全体的な有用性と実際の価値は、現実の監査状況においてどの程度か？
• RQ4 さまざまなエラー種別において、異なるツールの検出能力はどのように比較できるか？
• RQ5 現在の監査ツールには、複雑または微細なスプレッドシートエラーを特定する際のどのような制限があるか？

主な発見

• 本研究では、どのツールもすべてのエラー種別を検出できず、ツールやエラー種別によって検出率に顕著な差が認められた。
• ツールは、数式の不整合のような単純なエラーの検出には一般的に効果的であったが、複雑な論理的エラーやデータ整合性の問題の検出には劣っていた。
• ツールのユーザー向けガイドやレポート機能には差があり、一部のツールは他のツールに比べて、エラーのトレーサビリティとエラーの説明が優れていた。
• 多数のツールが利用可能であるものの、標準化の欠如と一貫性のないパフォーマンスが、高リスク環境における全体的な信頼性を制限している。
• 研究結果は、ツールが監査の効率を向上させられることを確認しているが、優れたスプレッドシート設計と人的専門性の代替とはならないことを示している。
• 特定のテスト対象ツールが現在では古くなっているものの、発見は歴史的および比較的分析においても依然として関連性がある。