[論文レビュー] Practical Challenges with Spreadsheet Auditing Tools

Daniel Kulesz, Jan-Peter Ostberg|arXiv (Cornell University)|Jan 28, 2014

Spreadsheets and End-User Computing参考文献 10被引用数 5

ひとこと要約

本論文は、学部学生による制御された研究を通じて14のスプレッドシート監査ツールを評価し、スプレッドシートの欠陥を検出する有用性は認められるものの、実用的な課題が顕在していることを明らかにした。著者らは、伝統的なソフトウェア工学における静的解析のベストプラクティスを採用することで、スプレッドシート監査ツールの信頼性、使いやすさ、欠陥検出の正確性を向上させることを提言する。

ABSTRACT

Just like other software, spreadsheets can contain significant faults. Static analysis is an accepted and well-established technique in software engineering known for its capability to discover faults. In recent years, a growing number of tool vendors started offering tools that allow casual end-users to run various static analyses on spreadsheets as well. We supervised a study where three undergraduate software engineering students examined a selection of 14 spreadsheet auditing tools, trying to give a concrete recommendation for an industry partner. Reflecting on the study's results, we found that most of these tools do provide useful aids in finding problems in spreadsheets, but we have also spotted several areas where tools had significant issues. Some of these issues could be remedied if spreadsheet auditing tool vendors would pick up some ideas of static analysis tools for traditional software development and adopt some of their solution approaches.

研究の動機と目的

• スプレッドシート監査ツールの実世界における実用的効果を評価すること。
• 既存のスプレッドシート監査ツールに共通する技術的および使いやすさの問題を特定すること。
• 現在のツールがスプレッドシートにおける欠陥検出の産業的ニーズを満たしているかどうかを評価すること。
• 伝統的なソフトウェア工学における静的解析手法の事例を基に、実行可能な改善策を提案すること。

提案手法

• 14種類の商業的に利用可能なスプレッドシート監査ツールの比較評価を実施した。
• ベンダーの主張と市場における存在感に基づいてツールを選定し、静的解析機能に焦点を当てた。
• 機能性、正確性、使いやすさを評価するための構造化されたテストフレームワークを適用した。
• 既知の欠陥を含む実世界のスプレッドシート例を用いて、検出率と誤検出の度合いをテストした。
• 報告された問題の整合性、正確性、理解しやすさについて、ツールの出力を分析した。
• 伝統的なソフトウェア工学における静的解析から得た知見を基に、スプレッドシートツールの設計改善を提言した。

実験結果

リサーチクエスチョン

• RQ1 既存のスプレッドシート監査ツールは、実世界のスプレッドシートに存在する既知の欠陥をどれほど効果的に検出できるか？
• RQ2 スプレッドシート監査ツールの採用と信頼性を妨げる共通の使いやすさと技術的制限は何か？
• RQ3 現在のツールは、伝統的なソフトウェア工学における静的解析の原則をどの程度活用しているか？
• RQ4 報告された問題の正確性、再現性、明確さという観点から、ツールの出力はどのように比較できるか？
• RQ5 プログラミング言語で用いられる静的解析手法をスプレッドシート環境に適応することで、どのような改善が可能か？

主な発見

• 多くのスプレッドシート監査ツールは、スプレッドシートの欠陥を特定する上で有用な支援を提供しているが、品質と信頼性に顕著なばらつきが見られた。
• 多くのツールが誤検出を報告したり、重要なエラーをすり抜けるため、産業現場での信頼性が低下している。
• 標準化されたレポートフォーマットの欠如と、スプレッドシート論理の解釈の不一致が、ツールの使いやすさを妨げている。
• 一部のツールは、循環参照や不一致なデータ型といった一般的なスプレッドシートのアンチパターンを検出できない場合がある。
• ベンダーは、データフロー解析やタンパク追跡といった、ソフトウェア工学で確立された静的解析手法をしばしば無視している。
• 伝統的な静的解析で実証済みの手法を採用することで、ツールの正確性とユーザーの信頼性を著しく向上できる。