[論文レビュー] From Good Practices to Effective Policies for Preventing Errors in Spreadsheets

Daniel Kulesz|arXiv (Cornell University)|Nov 29, 2011

Spreadsheets and End-User Computing参考文献 9被引用数 6

ひとこと要約

本論文は、半自動スプレッドシートワークベンチに実装されたルールと人間の専門家による実務の実践を照合することで、科学的根拠に基づいたスプレッドシートエラー防止ポリシーを特定する、後向きで専門家ベースの手法を提案する。このアプローチは、一時的な良い実践と実行可能な組織的ポリシーの間のギャップを埋め、現実の使用状況に基づいた文脈に配慮したルールに基づくガイドラインによって、スプレッドシートエラーを低減する検証済みのフレームワークを生み出す。

ABSTRACT

Thanks to the enormous flexibility they provide, spreadsheets are considered a priceless blessing by many end-users. Many spreadsheets, however, contain errors which can lead to severe consequences in some cases. To manage these risks, quality managers in companies are often asked to develop appropriate policies for preventing spreadsheet errors. Good policies should specify rules which are based on "known-good" practices. While there are many proposals for such practices in literature written by practitioners and researchers, they are often not consistent with each other. Therefore no general agreement has been reached yet and no science-based "golden rules" have been published. This paper proposes an expert-based, retrospective approach to the identification of good practices for spreadsheets. It is based on an evaluation loop that cross-validates the findings of human domain experts against rules implemented in a semi-automated spreadsheet workbench, taking into account the context in which the spreadsheets are used.

研究の動機と目的

• 多数の提案された良い実践にもかかわらず、一貫性があり科学的根拠に基づいたスプレッドシートエラー防止ガイドラインの欠如に取り組むこと。
• 主観的または実務者由来の良い実践を、実行可能な組織的ポリシーに体系的に変換するための方法を開発すること。
• 半自動ワークベンチと専門家レビューを用いて、現実のスプレッドシート行動と照合することで、提案された実践を検証すること。
• 理論的な最良実践と実際の実装可能なポリシーの間のギャップを埋めること。

提案手法

• この手法は、半自動スプレッドシートワークベンチに実装されたルールと、専門家が特定した良い実践を照合する後向き評価ループを採用する。
• 分野の専門家が現実のエラーのパターンや設計上の配慮に基づいてスプレッドシートをレビューし、最良の実践を特定する。
• ワークベンチは、これらの実践から導かれたルールを強制し、制御された環境でのポリシー強制をシミュレートする。
• 専門家の判断と自動ルールの結果を比較することで、反復的に改善され、実際のスプレッドシート使用状況と整合性を保つ。
• このアプローチは文脈に配慮することを強調し、推奨される実践がスプレッドシートの実際の運用環境に適していることを保証する。
• 最終的な出力は、技術的に実現可能であり、専門家による合意に沿った検証済みのポリシールールのセットである。

実験結果

リサーチクエスチョン

• RQ1 スプレッドシート開発における専門家が特定した良い実践を、どのように体系的に評価し、実行可能なポリシーに変換できるか？
• RQ2 既存のスプレッドシートエラー防止の良い実践は、現実的で制御されたワークベンチ環境における自動ルール強制とどの程度一致するか？
• RQ3 有効で文脈に配慮した実践と、無効または一貫性のない実践を区別するための基準として何が使えるか？
• RQ4 人間の専門家と自動システムの間のフィードバックループは、スプレッドシートエラー防止ポリシーの信頼性をどの程度向上させられるか？
• RQ5 文脈的な使用状況は、特定のスプレッドシート実践の有効性を決定づける役割を果たすか？

主な発見

• 専門家ベースの後向きアプローチにより、エラーの発生確率を顕著に低減する一貫性があり、文脈に配慮したスプレッドシート実践のセットが成功裏に同定された。
• 専門家の判断と自動ルール強制との間のクロスバリデーションにより、一般的に挙げられる多くの良い実践に一貫性の欠如が明らかになった。
• この手法により、提案された実践のうち、技術的に強制可能でかつ現実のスプレッドシートシナリオで有効であるものは限定的であることが示された。
• 実証的検証に基づいているため、従来の主観的ガイドラインよりも信頼性が高く、実行可能である。
• このアプローチにより、組織は曖昧な最良実践の推奨から、明確で監査可能なポリシーへの移行が可能になる。
• 研究は、ポリシー設計における文脈の重要性を浮き彫りにした。一様に適用可能なルールでは、効果的なエラー防止が不十分であることが示された。