[논문 리뷰] Debugging Backwards in Time

Bil Lewis|arXiv (Cornell University)|2003. 10. 09.

Advanced Software Engineering Methodologies참고 문헌 6인용 수 155

한 줄 요약

이 논문은 프로그램 실행 중 모든 상태 변화를 기록하여 과거로의 디버깅을 가능하게 하는 '오미니센트 디버깅(omniscient debugging)' 기법을 소개한다. 바이트코드를 인스트루먼트하여 모든 변수 할당과 메서드 호출을 기록함으로써 오미니센트 디버거(ODB)는 개발자가 자유롭게 프로그램 상태를 이동할 수 있도록 하여, 복잡하고 비결정적인 버그의 디버깅 시간을 크게 단축시킨다.

ABSTRACT

By recording every state change in the run of a program, it is possible to present the programmer every bit of information that might be desired. Essentially, it becomes possible to debug the program by going ``backwards in time,'' vastly simplifying the process of debugging. An implementation of this idea, the ``Omniscient Debugger,'' is used to demonstrate its viability and has been used successfully on a number of large programs. Integration with an event analysis engine for searching and control is presented. Several small-scale user studies provide encouraging results. Finally performance issues and implementation are discussed along with possible optimizations. This paper makes three contributions of interest: the concept and technique of ``going backwards in time,'' the GUI which presents a global view of the program state and has a formal notion of ``navigation through time,'' and the integration with an event analyzer.

연구 동기 및 목표

• 기존 디버거가 순방향 디버깅과 수동 브레이크포인트 설정에 의존하는 한계를 해결하기 위해.
• 비결정적이고 재현이 어려운 버그를 디버깅하는 핵심 문제를 해결하기 위해 프로그램 상태의 완전한 후행 분석을 가능하게 하기 위해.
• 개발자가 시간을 앞뒤로 자유롭게 이동할 수 있는 통합형 상호작용 인터페이스를 제공하기 위해.
• 모든 상태 변화를 기록하는 것이 기존 브레이크포인트 기반 접근 방식보다 더 효과적이고 직관적인 디버깅을 가능하게 한다는 것을 입증하기 위해.
• 사건 분석을 상태 기반 탐색과 통합하여 대규모 환경에서 자동화 및 탐색형 디버깅을 지원하기 위해.

제안 방법

• 로드 시점에 자바 바이트코드를 인스트루먼트하여 모든 변수 할당과 메서드 호출을 고유한 타임스탬프를 가진 고유한 이벤트로 기록하기 위해.
• 실행 중 여러 스레드 간 이벤트의 일관된 순서를 보장하기 위해 단일 고수준 락을 사용하기 위해.
• 모든 상태 변화를 지속적이고 직렬화 가능한 로그에 저장하여 언제라도 재생하거나 검사할 수 있도록 하기 위해.
• 선택된 타임스탬프에 기반해 변수, 스택, 코드 패널을 동기적으로 업데이트하는 GUI 기반 디버거(ODB)를 제공하기 위해.
• 이전 상태로 '되돌리기'를 통해 백워드 스텝, 예외 추적, 메서드 호출 이력 탐색이 가능하도록 하기 위해.
• 조건 기반으로 기록을 선택적으로 수행할 수 있도록 get() 함수를 통해 동적 쿼리 및 제어를 지원하는 이벤트 분석기 통합하기 위해.

실험 결과

연구 질문

• RQ1 프로그램의 모든 상태 변화를 기록하는 것이 기존 브레이크포인트 기반 방법보다 더 효과적이고 직관적인 디버깅을 가능하게 할 수 있는가?
• RQ2 과거로의 탐색이 복잡하거나 비결정적인 버그의 디버깅 시간을 얼마나 줄일 수 있는가?
• RQ3 이벤트 분석기와 상태 기반 디버거를 통합함으로써 디버깅의 효율성과 사용성은 어떻게 향상되는가?
• RQ4 모든 상태 변화를 기록하는 데 따른 성능 영향은 무엇이며, 최적화로 이를 완화할 수 있는가?
• RQ5 오미니센트 디버깅은 개념 증명 수준을 넘어서 실제 대규모 프로그램에 효과적으로 적용될 수 있는가?

주요 결과

• 오미니센트 디버거(ODB)는 '풀 속의 뱀을 본 적 있는' 문제를 포함한 많은 복잡한 버그의 디버깅 시간을 수시간에서 수분으로 단축시켰다.
• 사용자 연구 결과, 과거로의 탐색이 가능한 경우 개발자들이 버그의 원인을 더 빠르게 파악하고 정신적 부담을 줄일 수 있었다.
• ODB가 '이 변수를 누가 설정했는가?'에 즉각 응답함으로써 브레이크포인트 설정에 대한 추측의 필요성을 제거했다.
• 성능 오버헤드는 관리 가능했으며, 이벤트 기록이 1회당 약 2μs의 추가 시간을 차지할 뿐이었고, 단순한 get() 호출보다 약 40배 느릴 뿐이었기에 장시간 실행 프로그램에 적용 가능했다.
• 가비지 컬렉션과 선택적 인스트루먼트를 통해 이벤트 수를 한 단계 감소시켜 1,000만 건 이상의 이벤트를 처리하는 프로그램의 디버깅이 가능해졌다.
• 이벤트 분석기의 통합을 통해 기록 제어를 동적으로 가능하게 하여 데이터 볼륨을 크게 줄였지만 디버깅 기능은 손상되지 않았다.