[논문 리뷰] FReD: Automated Debugging via Binary Search through a Process Lifetime

Kapil Arya, Tyler Denniston외 2명|arXiv (Cornell University)|2012. 12. 20.

Parallel Computing and Optimization Techniques참고 문헌 31인용 수 4

한 줄 요약

FReD는 복잡한 다중 스레드 응용 프로그램에서 시간적으로 국한되지 않은 어려운 버그의 근본 원인을 프로그램 실행 수명 주기 동안 자동으로 이진 탐색하는 기법을 소개한다. 체크포인트 기반 기술, 커스텀 DMTCP 플러그인을 통한 결정론적 재생, GDB 통합을 활용하여 FReD는 효율적으로 정확한 소스 코드 문장에서 프로그램 인variant가 올바른 상태에서 위반 상태로 전이되는 지점을 특정할 수 있는 역방향 표현 감시점을 제공하며, 16코어 시스템에서 디버깅 시간을 29초에서 406초 사이로 단축시킨다.

ABSTRACT

Reversible debuggers have been developed at least since 1970. Such a feature is useful when the cause of a bug is close in time to the bug manifestation. When the cause is far back in time, one resorts to setting appropriate breakpoints in the debugger and beginning a new debugging session. For these cases when the cause of a bug is far in time from its manifestation, bug diagnosis requires a series of debugging sessions with which to narrow down the cause of the bug. For such "difficult" bugs, this work presents an automated tool to search through the process lifetime and locate the cause. As an example, the bug could be related to a program invariant failing. A binary search through the process lifetime suffices, since the invariant expression is true at the beginning of the program execution, and false when the bug is encountered. An algorithm for such a binary search is presented within the FReD (Fast Reversible Debugger) software. It is based on the ability to checkpoint, restart and deterministically replay the multiple processes of a debugging session. It is based on GDB (a debugger), DMTCP (for checkpoint-restart), and a custom deterministic record-replay plugin for DMTCP. FReD supports complex, real-world multithreaded programs, such as MySQL and Firefox. Further, the binary search is robust. It operates on multi-threaded programs, and takes advantage of multi-core architectures during replay.

연구 동기 및 목표

• 시간적으로 국한되지 않은 '어려운' 버그를 진단하는 데 도전하는 것 — 즉, 원인이 고장 발생 지점에서 멀리 떨어져 있는 경우.
• 수백만 개의 명령어를 수동으로 역방향 단계별로 따라가지 않고도 이러한 버그의 근본 원인을 좁히는 과정을 자동화하는 것.
• MySQL과 Firefox와 같은 복잡한 실세계 다중 스레드 프로그램을 스케일링 가능하고 효율적인 디버깅 환경에서 지원하는 것.
• 사용자 정의 표현식을 통한 고수준 디버깅 쿼리(예: '이 인variant가 언제 거짓이 되었는가?')를 자동 이진 탐색을 통해 구현하는 것.
• 기존 도구(GDB, DMTCP)와의 통합을 유지하면서도 결정론적 기록-재생 및 역방향 실행 기능을 확장하는 것.

제안 방법

• FReD는 DMTCP를 사용해 체크포인트-재시작를 수행하고, 커스텀 결정론적 기록-재생 플러그인을 통해 시스템 호출, pthread 호출, glibc 라이브러리 호출을 기록하여 결정론성을 확보한다.
• GDB를 디버거의 프론트엔드로 활용하고, 역방향 실행 및 표현식 평가를 가능하게 하기 위해 이를 통합한다.
• 핵심 기법은 사용자가 정의한 표현식이 참에서 거짓으로 전이되는 시점을 기준으로 프로그램 실행 타임라인에 대해 이진 탐색을 수행하는 것이다.
• 각 단계에서 시스템은 체크포인트를 생성하고 중간 지점까지 정방향 재생한 후, 목표 표현식이 여전히 참인지 확인하여 탐색 공간을 반으로 줄인다.
• 알고리즘은 표현식이 거짓이 되는 정확한 소스 수준의 문장을 특정하여 수동 브레이크포인트 설정이나 단계별 역방향 실행에 의존하지 않는다.
• 결정론적 재생 중 병렬성을 활용하여 다중 코어 재생을 지원함으로써 현대의 많은 코어 아키텍처에서 성능을 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 복잡한 다중 스레드 프로그램에서 시간적으로 국한되지 않은 버그의 근본 원인을 프로그램 수명 주기 동안 자동 이진 탐색으로 효율적으로 특정할 수 있는가?
• RQ2 결정론적 재생과 체크포인트 기반 기술을 어떻게 효과적으로 상징적 디버거와 통합하여 확장 가능한 역방향 디버깅을 가능하게 할 수 있는가?
• RQ3 실세계 응용 프로그램에서 수동 역방향 단계 이동에 비해 역방향 표현 감시점이 얼마나 디버깅 시간을 줄일 수 있는가?
• RQ4 MySQL과 Firefox와 같은 생산 수준의 고도로 동시성 처리가 이루어지는 시스템에서도 정확성과 성능을 유지하면서 이 기법이 확장 가능한가?
• RQ5 역방향 디버깅 환경에서 결정론적 재생을 유지하고 이진 탐색을 활성화하는 데 발생하는 성능 오버헤드는 어느 정도인가?

주요 결과

• FReD는 MySQL과 Firefox와 같은 복잡한 다중 스레드 프로그램에서 자동 이진 탐색을 통해 버그의 근본 원인을 성공적으로 특정했다.
• 16코어 머신에서 디버깅 시간이 29초에서 406초 사이로 측정되어 실세계 디버깅에 실용적인 성능을 보였다.
• 역방향 표현 감시점 기능은 수동 역방향 단계 이동이 필요 없이 프로그램 인variant가 실패하는 문장을 정확히 특정할 수 있도록 했다.
• 수정되지 않은 GDB와 DMTCP와의 통합은 호환성과 확장성을 유지하면서 다양한 워크로드에서 견고함을 확보했다.
• 재생 중 다중 코어 아키텍처를 활용함으로써 빠른 결정론적 재생이 가능해져 이진 탐색의 스케일링과 효율성이 향상되었다.
• 대규모 실행 트레이스에서 반복적인 역방향 다음 또는 역방향 단계 명령어를 사용하는 수동 역방향 디버깅에 비해 이 기법이 우수한 성능을 보였다.