[논문 리뷰] Debugging Static Analysis

Lisa Nguyen Quang, Stefan Krüger외 3명|arXiv (Cornell University)|2018. 01. 15.

Software Testing and Debugging Techniques참고 문헌 17인용 수 3

한 줄 요약

이 논문은 정적 데이터플로우 분석을 위한 Eclipse 통합 디버깅 환경인 Visuflow을 소개한다. Visuflow은 분석 코드와 대상 프로그램 코드를 동시에 시각화하고 단계적으로 실행할 수 있도록 한다. 사용자 연구 결과, Visuflow는 표준 Eclipse 디버깅보다 25% 더 많은 버그를 식별하고 50% 더 많은 오류를 수정하는 데 도움을 주었다.

ABSTRACT

To detect and fix bugs and security vulnerabilities, software companies use static analysis as part of the development process. However, static analysis code itself is also prone to bugs. To ensure a consistent level of precision, as analyzed programs grow more complex, a static analysis has to handle more code constructs, frameworks, and libraries that the programs use. While more complex analyses are written and used in production systems every day, the cost of debugging and fixing them also increases tremendously. To better understand the difficulties of debugging static analyses, we surveyed 115 static analysis writers. From their responses, we extracted the core requirements to build a debugger for static analysis, which revolve around two main issues: (1) abstracting from two code bases at the same time (the analysis code and the analyzed code) and (2) tracking the analysis internal state throughout both code bases. Most current debugging tools that our survey participants use lack the capabilities to address both issues. Focusing on those requirements, we introduce VisuFlow, a debugging environment for static data-flow analysis that is integrated in the Eclipse development environment. VisuFlow features graph visualizations that enable users to view the state of a data-flow analysis and its intermediate results at any time. Special breakpoints in VisuFlow help users step through the analysis code and the analyzed simultaneously. To evaluate the usefulness of VisuFlow, we have conducted a user study on 20 static analysis writers. Using VisuFlow helped our sample of analysis writers identify 25% and fix 50% more errors in the analysis code compared to using the standard Eclipse debugging environment.

연구 동기 및 목표

• 정적 분석 개발자가 자신의 분석을 디버깅할 때 겪는 핵심 과제를 규명하기 위해.
• 기존 디버깅 도구가 정적 분석 개발의 고유한 요구사항을 지원하는 데에서 겪는 한계를 이해하기 위해.
• 정적 데이터플로우 분석을 위한 전용 디버깅 환경을 설계하고 평가하기 위해.
• 향상된 디버깅 지원이 정적 분석 개발의 효율성과 효과성 향상에 기여한다는 것을 경험적으로 검증하기 위해.

제안 방법

• 115명의 정적 분석 개발자를 대상으로 한 대규모 설문 조사로 공통된 디버깅 과제, 사용 중인 도구, 원하는 기능을 파악하였다.
• 주요 디버깅 과제 두 가지를 확인: 분석 코드와 대상 코드의 두 코드베이스를 관리하는 것, 그리고 양쪽 모두에서 분석 내부 상태를 추적하는 것.
• 분석 코드와 대상 프로그램 코드 양쪽을 동기화된 방식으로 시각화하고, 두 코드베이스를 단계적으로 탐색할 수 있는 특수 브레이크포인트를 제공하는 Visuflow를 설계하였다.
• Java 기반의 데이터플로우 분석을 지원하기 위해 Soot 프레임워크와 Visuflow를 통합하였다.
• 20명의 정적 분석 개발자를 대상으로 Visuflow와 표준 Eclipse 디버깅을 비교하는 통제된 사용자 연구를 수행하였다.
• 오류 탐지 및 수정 비율, 사용성, 기능 선호도에 관한 정량적 및 정성적 데이터를 수집하고 분석하였다.

실험 결과

연구 질문

• RQ1 정적 분석 개발자가 일반 애플리케이션 코드 디버깅과 비교해 자신의 분석을 디버깅할 때 직면하는 주요 과제는 무엇인가?
• RQ2 정적 분석 개발에 가장 요구되고 효과적인 디버깅 기능은 무엇인가?
• RQ3 Visuflow와 같은 전용 디버깅 환경은 표준 IDE 디버깅과 비교해 효과성과 효율성 측면에서 어떻게 다를까?
• RQ4 Visuflow의 어떤 특정 기능이 디버깅 성과 향상에 가장 기여하는가?

주요 결과

• 정적 분석 디버깅은 동시에 두 개의 별도된 코드베이스를 고려해야 하므로 일반 애플리케이션 디버깅보다 훨씬 더 복잡하다.
• 주요 디버깅 과제는 분석 코드와 대상 프로그램 코드 양쪽에서의 추상화 및 양쪽 모두에서 분석 내부 상태의 추적이다.
• Eclipse의 디버거와 같은 표준 디버깅 도구는 이중 코드베이스 디버깅과 상태 추적을 지원하는 기능이 부족하여 효과성이 제한된다.
• 사용자 연구 결과, Visuflow를 사용한 참가자들은 표준 Eclipse 디버깅을 사용할 때보다 25% 더 많은 버그를 식별하고 50% 더 많은 오류를 수정하였다.
• 참가자들은 정적 분석 디버깅에 있어 Visuflow의 시각화 기능과 이중 단계 실행 기능이 표준 개발 환경보다 훨씬 유용하다고 평가했다.
• 설문 조사와 사용자 연구를 통해 동기화된 시각화와 특수 브레이크포인트와 같은 기능이 복잡한 정적 분석 디버깅에 매우 효과적임을 확인하였다.