[논문 리뷰] Automated Reasoning and Detection of Specious Configuration in Large Systems with Symbolic Execution

Y. Charlie Hu, Gongqi Huang외 1명|arXiv (Cornell University)|2020. 10. 04.

Advanced Software Engineering Methodologies인용 수 5

한 줄 요약

이 논문은 대규모 시스템에서 코드 수준의 실행 경로와 다양한 구성 설정 및 입력 조건 하에서의 성능 영향을 분석함으로써, 유효하지만 성능을 떨어뜨리는 설정(즉, 유사 구성 설정)을 탐지하는 기반으로 기호 실행을 활용하는 Violet이라는 도구를 제안한다. Violet은 성능 영향 모델을 구축하여 실제 17개의 유사 구성 설정 중 15개를 사전에 식별하고, MySQL, PostgreSQL, Apache, Squid 등의 시스템에서 기존에 알려지지 않은 9개의 유사 구성 설정을 발견한다.

ABSTRACT

Misconfiguration is a major cause of system failures. Prior solutions focus on detecting invalid settings that are introduced by user mistakes. But another type of misconfiguration that continues to haunt production services is specious configuration--settings that are valid but lead to unexpectedly poor performance in production. Such misconfigurations are subtle, so even careful administrators may fail to foresee them. We propose a tool called Violet to detect such misconfiguration. We realize the crux of specious configuration is that it causes some slow code path to be executed, but the bad performance effect cannot always be triggered. Violet thus takes a novel approach that uses selective symbolic execution to systematically reason about the performance effect of configuration parameters, their combination effect, and the relationship with input. Violet outputs a performance impact model for the automatic detection of poor configuration settings. We applied Violet on four large systems. To evaluate the effectiveness of Violet, we collect 17 real-world specious configuration cases. Violet detects 15 of them. Violet also identifies 9 unknown specious configurations.

연구 동기 및 목표

• 생산 환경에서 흔히 발생하는, 미묘한 코드 경로 상호작용으로 인해 성능이 떨어지는 유효한 설정(즉, 유사 구성 설정) 문제를 해결하기 위해.
• 수동 튜닝과 블랙박스 테스트의 한계를 극복하여, 특정 입력 또는 환경 조건 하에서 구성 설정으로 인한 성능 저하를 탐지하지 못하는 문제를 해결하기 위해.
• 구성 설정 매개변수의 영향, 상호작용, 입력 의존성에 대해 코드 수준에서 체계적으로 성능 영향을 분석할 수 있는 분석 방법을 개발하기 위해.
• 장애 발생 이전에 미세하고 추적하기 어려운 성능 문제를 탐지할 수 있는 확장성 있고 정밀하며 확장 가능한 솔루션을 개발하기 위해.

제안 방법

• Violet은 구성 설정 매개변수와 입력 값에 영향을 받는 코드 경로를 탐색하기 위해 선택적 기호 실행을 활용하여 성능에 영향을 미치는 경로를 유도하는 제약 조건을 식별한다.
• 기호 탐색 중에 저수준 실행 신호와 성능 특성을 프로파일링하기 위해 S2E 플랫폼 기반의 맞춤형 트레이서를 통합한다.
• LLVM 기반 정적 분석기가 소스 코드 내에서 구성 설정 매개변수와 그 관계를 식별하여 기호 실행을 안내한다.
• 다양한 매개변수 조합이 성능에 미치는 영향을 분석함으로써 실행 경로를 비교함으로써 구성 설정의 성능 영향 모델을 수립한다.
• 이 모델은 새로운 구성 설정이나 배포 환경에서 유사 구성 설정을 지속적으로 탐지하는 체크어워너에 의해 사용된다.
• 프로그램 분석과 대상 지향 기호 실행을 통해 경로 폭발과 효율성 문제에 대응하여 오버헤드를 감소시키고 확장성을 향상시킨다.

실험 결과

연구 질문

• RQ1 기호 실행을 사용하여 유효하지만 예상치 못한 성능 저하를 유발하는 구성 설정을 효과적으로 탐지할 수 있는가?
• RQ2 시스템이 구성 설정 매개변수, 입력 데이터, 환경 조건의 병합된 영향을 성능에 대해 자동으로 추론할 수 있는가?
• RQ3 대규모 시스템의 성능 영향을 분석할 때 기호 실행의 성능 오버헤드와 경로 폭발 문제를 줄이기 위한 기법은 무엇인가?
• RQ4 이러한 분석적 접근 방식이 수동 분석이나 블랙박스 테스트로 인해 놓친 실제 세계의 유사 구성 설정 사례를 어느 정도 탐지할 수 있는가?

주요 결과

• Violet은 수집된 실제 생산 환경 사고에서 유래한 17개의 유사 구성 설정 사례 중 15개를 성공적으로 탐지했다.
• 도구는 기존에 알려지지 않은 9개의 유사 구성 설정을 발견했으며, 이 중 7개는 개발자들이 유효한 성능 문제로 확인했다.
• Violet은 MySQL, PostgreSQL, Apache, Squid의 네 대규모 시스템에서 총 471개의 구성 설정 매개변수에 대해 성능 영향 모델을 유도했다.
• 입력과 구성 설정의 다양성에 따라 코드 수준의 실행 경로와 그 성능 결과를 고려함으로써 정적 분석 및 블랙박스 테스트보다 우수한 성능을 발휘한다.
• 기본적으로 기호 실행 기반의 방법은 광범위한 테스트를 통한 성능 튜닝보다 더 정밀하고 노이즈가 적어 새로운 배포 환경로로의 확장이 가능하다.
• 기호 실행과 프로파일링, 정적 분석의 통합은 기존 방법으로는 탐지하기 어려운 미세한 성능 저하를 확장 가능하게 탐지할 수 있도록 한다.