[论文解读] Debugging Static Analysis

Lisa Nguyen Quang, Stefan Krüger+3 more|arXiv (Cornell University)|Jan 15, 2018

Software Testing and Debugging Techniques参考文献 17被引用 3

一句话总结

本文介绍了 Visuflow，一种集成于 Eclipse 的调试环境，专为静态数据流分析设计，支持同时可视化和逐步调试分析代码与目标程序代码。用户研究表明，与标准 Eclipse 调试相比，Visuflow 使分析开发者能够发现 25% 更多的错误，并修复 50% 更多的错误。

ABSTRACT

To detect and fix bugs and security vulnerabilities, software companies use static analysis as part of the development process. However, static analysis code itself is also prone to bugs. To ensure a consistent level of precision, as analyzed programs grow more complex, a static analysis has to handle more code constructs, frameworks, and libraries that the programs use. While more complex analyses are written and used in production systems every day, the cost of debugging and fixing them also increases tremendously. To better understand the difficulties of debugging static analyses, we surveyed 115 static analysis writers. From their responses, we extracted the core requirements to build a debugger for static analysis, which revolve around two main issues: (1) abstracting from two code bases at the same time (the analysis code and the analyzed code) and (2) tracking the analysis internal state throughout both code bases. Most current debugging tools that our survey participants use lack the capabilities to address both issues. Focusing on those requirements, we introduce VisuFlow, a debugging environment for static data-flow analysis that is integrated in the Eclipse development environment. VisuFlow features graph visualizations that enable users to view the state of a data-flow analysis and its intermediate results at any time. Special breakpoints in VisuFlow help users step through the analysis code and the analyzed simultaneously. To evaluate the usefulness of VisuFlow, we have conducted a user study on 20 static analysis writers. Using VisuFlow helped our sample of analysis writers identify 25% and fix 50% more errors in the analysis code compared to using the standard Eclipse debugging environment.

研究动机与目标

• 识别静态分析开发者在调试自身分析时面临的核心挑战。
• 理解现有调试工具在支持静态分析开发独特需求方面的局限性。
• 设计并评估一种专为静态数据流分析量身定制的调试环境。
• 通过实证研究验证，增强的调试支持是否能提升静态分析开发的效率与效果。

提出的方法

• 对 115 名静态分析开发者开展大规模调查，以识别常见的调试挑战、所用工具及期望功能。
• 识别出两大主要调试挑战：同时管理两个代码库（分析代码与目标代码）以及在两者之间跟踪分析的内部状态。
• 设计 Visuflow，作为 Eclipse 插件，提供数据流状态的同步可视化以及用于在两个代码库中逐步执行的特殊断点。
• 将 Visuflow 集成至 Soot 框架，以支持基于 Java 的数据流分析。
• 开展一项受控用户研究，邀请 20 名静态分析开发者参与，对比 Visuflow 与标准 Eclipse 调试的效果。
• 收集并分析关于错误检测与修复率、可用性及功能偏好的定量与定性数据。

实验结果

研究问题

• RQ1 与通用应用程序代码相比，静态分析开发者在调试自身分析时面临的主要挑战是什么？
• RQ2 哪些调试功能在静态分析开发中最为需要且最有效？
• RQ3 与标准 IDE 调试相比，像 Visuflow 这类专用调试环境在有效性与效率方面表现如何？
• RQ4 Visuflow 的哪些具体功能对提升调试效果贡献最大？

主要发现

• 由于需要同时思考两个独立的代码库，静态分析调试比通用应用程序调试复杂得多。
• 主要调试挑战在于同时抽象分析代码与目标程序代码，并在两者之间跟踪分析的内部状态。
• 标准调试工具（如 Eclipse 调试器）缺乏支持双代码库调试与状态跟踪的功能，限制了其有效性。
• 在用户研究中，Visuflow 使参与者比使用标准 Eclipse 调试时多发现 25% 的错误，并修复 50% 更多的错误。
• 参与者认为 Visuflow 的可视化与双代码逐步执行功能，相比其标准开发环境，在调试静态分析方面显著更实用。
• 调查与用户研究结果一致表明，诸如同步可视化与特殊断点等功能，对调试复杂静态分析极为有效。