[논문 리뷰] Understanding Differences among Executions with Variational Traces

Jens Meinicke, Chu-Pan Wong외 2명|arXiv (Cornell University)|2018. 07. 10.

Security and Verification in Computing참고 문헌 1인용 수 4

한 줄 요약

이 논문은 가변적 실행을 활용해 지수적으로 많은 입력 구성으로 인한 제어 흐름 및 데이터 흐름의 차이를 압축하고 동적으로 표현하는 '가변적 트레이스(variational traces)'를 소개한다. 이를 통해 구성 가능한 소프트웨어에서 상호작용 결함을 이해하는 데 도움을 주며, 저자들은 사용자 연구를 통해 표준 디버거보다 두 배 이상 빠르게 결함을 디버깅할 수 있도록 하는 Eclipse 플러그인 Varviz를 사용한 개발자들의 성과를 입증한다.

ABSTRACT

One of the main challenges of debugging is to understand why the program fails for certain inputs but succeeds for others. This becomes especially difficult if the fault is caused by an interaction of multiple inputs. To debug such interaction faults, it is necessary to understand the individual effect of the input, how these inputs interact and how these interactions cause the fault. The differences between two execution traces can explain why one input behaves differently than the other. We propose to compare execution traces of all input options to derive explanations of the behavior of all options and interactions among them. To make the relevant information stand out, we represent them as variational traces that concisely represents control-flow and data-flow differences among multiple concrete traces. While variational traces can be obtained from brute-force execution of all relevant inputs, we use variational execution to scale the generation of variational traces to the exponential space of possible inputs. We further provide an Eclipse plugin Varviz that enables users to use variational traces for debugging and navigation. In a user study, we show that users of variational traces are more than twice as fast to finish debugging tasks than users of the standard Eclipse debugger. We further show that variational traces can be scaled to programs with many options.

연구 동기 및 목표

• 다양한 입력 조합이 함께 작용하여 실패를 유발하는 구성 가능한 소프트웨어에서 상호작용 결함을 디버깅하는 데 도전하는 것.
• 표준 디버거가 한 번에 하나의 입력만 분석하기 때문에 구성 간 행동을 비교하기 어려운 점을 극복하는 것.
• 다양한 입력 조합 간 실행 트레이스를 비교하기 위한 확장 가능하고 동적인 방법을 제공하여 어떤 입력 조합이 결함을 유발하는지 설명하는 것.
• 개발자가 구성 간 프로그램 행동의 차이를 탐색하고 이해할 수 있도록 도와주는 상호작용형 도구(Varviz)를 개발하는 것.
• 복잡한 기능 상호작용을 포함한 실제 디버깅 시나리오에서 가변적 트레이스의 효과성과 확장성 평가하기

제안 방법

• 모든 관련 입력 구성(configuration)을 공유된 계산에서 동시에 실행하는 가변적 실행(variational execution, faceted execution)을 사용하여 중복 실행과 트레이스 기록을 방지한다.
• 문장과 상태를 해당 입력 구성과 함께 동적으로 추적하고 주석을 달아 기원을 유지하고, 실시간으로 차이를 식별할 수 있도록 한다.
• 모든 실행의 정렬된 트레이스를 병합하여 가변적 트레이스를 구성하며, 공통된 제어 흐름과 데이터 흐름을 공유하면서 이질적인 경로는 해당 입력 환경과 함께 주석 처리한다.
• 불필요하거나 중복된 정보를 억제함으로써 트레이스 크기를 줄이고, 결함 행동을 설명하는 데 필요한 차이에만 집중한다.
• 가변적 트레이스를 시각화하고 실행 차이를 탐색, 필터링, 탐색할 수 있도록 상호작용형 Eclipse 플러그인 Varviz를 구현한다.
• 트레이스 정렬과 기원 추적을 활용하여 사전에 모든 트레이스를 기록하지 않고도 동적이고 즉각적인 분석을 가능하게 하여 메모리 폭주를 방지한다.

실험 결과

연구 질문

• RQ1 개발자는 어떻게 구성 가능한 시스템에서 상호작용 결함을 이해하기 위해 여러 프로그램 실행의 행동을 효과적으로 비교할 수 있는가?
• RQ2 기하급수적으로 많은 입력 구성으로 인한 실행 트레이스 비교를 수행할 때, 금전적 비용이나 계산 비용이 과도하게 증가하지 않도록 어떻게 스케일링할 수 있는가?
• RQ3 기존 디버거보다 동적이고 가변적인 트레이스 분석 접근 방식이 디버깅 속도와 정확성 측면에서 뛰어나게 작용할 수 있는가?
• RQ4 가변적 트레이스는 다수의 상호작용하는 입력을 포함하는 복잡한 결함 원인을 효과적으로 설명할 수 있는가?
• RQ5 디버깅에 필요한 핵심적인 차이를 유지하면서 가변적 트레이스는 어느 정도 확장 가능하고 압축될 수 있는가?

주요 결과

• Varviz 플러그인을 사용한 사용자는 표준 Eclipse 디버거를 사용한 사용자보다 디버깅 작업을 두 배 이상 빠르게 완료했다.
• 가변적 트레이스를 사용함으로써 디버깅 작업 완료 평균 시간이 절반 이하로 감소하여 개발자 효율성 향상이 뚜렷하게 나타났다.
• 가변적 트레이스는 `flag`와 `ipv4` 매개변수 모두가 함께 작용할 때 충돌을 일으키는 등, 다수의 입력 조합이 관련된 상호작용 결함을 효과적으로 포착하고 설명했다.
• 저자들은 가변적 실행을 통해 전체 트레이스 기록 없이도 기하급수적으로 큰 입력 공간에서 확장 가능한 트레이스 생성이 가능하다는 것을 입증했다.
• 가변적 트레이스에 적용된 필터링 기법은 트레이스 크기를 성공적으로 줄였으며, 결함 관련 차이를 유지하면서도 간결함을 확보했다.
• 여섯 개의 고도로 구성 가능한 시스템에 대한 평가 결과, 가변적 트레이스가 복잡한 실제 시나리오에서도 실용적이고 효과적임을 입증했다.