[논문 리뷰] On Static Verification of Puppet System Configurations.

Joseph Collard, Nimish Gupta외 3명|arXiv (Cornell University)|2015. 09. 17.

Advanced Software Engineering Methodologies인용 수 3

한 줄 요약

이 논문은 형식적 의미론과 SMT 해결을 사용하여 정적 검증 도구인 Rehearsal을 제안한다. 이 도구는 소리 있고 완전하며 확장 가능한 결정성 분석을 수행하여, 비결정적 동작을 탐지하고, 동일성 보장과 같은 성질을 검증함으로써 대규모 시스템에서 구성의 신뢰성을 크게 향상시킨다.

ABSTRACT

Large-scale data centers and cloud computing have turned system configuration into a challenging problem. Several widely-publicized outages have been blamed not on software bugs, but on configuration bugs. To cope, thousands of organizations use system configuration languages to manage their computing infrastructure. Of these, Puppet is the most widely used with thousands of paying customers and many more open-source users. The heart of Puppet is a domain-specific language that describes the state of a system. Puppet already performs some basic static checks, but they only prevent a narrow range of errors. Furthermore, testing is ineffective because many errors are only triggered under specific machine states that are difficult to predict and reproduce. With several examples, we show that a key problem with Puppet is that configurations can be non-deterministic. This paper presents Rehearsal, a verification tool for Puppet configurations. Rehearsal implements a sound, complete, and scalable determinacy analysis for Puppet. To develop it, we (1) present a formal semantics for Puppet, (2) use several analyses to shrink our models to a tractable size, and (3) frame determinism-checking as decidable formulas for an SMT solver. Rehearsal then leverages the determinacy analysis to check other important properties, such as idempotency. Finally, we apply Rehearsal to several real-world Puppet configurations.

연구 동기 및 목표

• 대규모 데이터센터와 클라우드 환경에서 증가하는 구성 오류로 인한 장애 문제를 해결하기 위해.
• 테스트로는 쉽게 발견하기 어려운 Puppet 구성에서의 비결정적 행동을 식별하고 방지하기 위해.
• Puppet 구성의 결정성 여부를 판단하기 위한 확장 가능하고 소리 있고 완전한 정적 분석 기법을 개발하기 위해.
• 동일성과 같은 추가적인 핵심 성질을 검증하기 위해 분석을 확장하기 위해.
• 실제 Puppet 구성 파일을 대상으로 접근법을 평가하여 실용적 적용 가능성을 입증하기 위해.

제안 방법

• 정확하고 실행 가능한 모델을 사용하여 Puppet의 의미론을 형식화하여 엄밀한 분석을 가능하게 하기 위해.
• 모델 크기를 줄이고 확장성을 향상시키기 위해 다수의 정적 분석 기법을 적용하기 위해.
• SMT 해결기를 위해 적합한 결정 가능 논리 공식으로 결정성 검사를 인코딩하기 위해.
• SMT 기반의 결정성 분석을 활용하여 동일성과 같은 고수준 성질을 검증하기 위해.
• 실제 구성 파일의 종단 간 검증을 위해 도구 Rehearsal에 분석을 통합하기 위해.
• 모든 가능한 구성 실행 경로를 탐색하기 위해 기호 실행과 제약 조건 해결을 활용하기 위해.

실험 결과

연구 질문

• RQ1 Puppet에 대한 정확한 정적 분석을 지원할 수 있는 형식적 의미론을 정의할 수 있는가?
• RQ2 대규모 Puppet 구성 파일에 대해 소리 있고 완전한 결정성 분석을 수행할 수 있는가?
• RQ3 SMT 해결기를 위해 적합한 결정 가능 공식으로 결정성 검사를 어떻게 축소할 수 있는가?
• RQ4 결정성 분석을 다른 핵심 성질(예: 동일성) 검증에 재사용할 수 있는가?
• RQ5 이 접근법은 실세계 배포 환경에서 비결정적 및 오류가 있는 구성 파일을 얼마나 효과적으로 탐지하는가?

주요 결과

• Rehearsal은 테스트로는 쉽게 발견하기 어려운 비결정적 구성 파일을 성공적으로 식별한다.
• Puppet의 형식적 의미론은 구성 실행과 상태 전이를 정밀하게 모델링할 수 있다.
• 정적 분석과 SMT 해결의 통합을 통해 확장 가능하고 완전한 결정성 검사를 수행할 수 있다.
• 도구는 실제 운영 Puppet 코드베이스에서 시스템 불안정을 유발할 수 있는 구성 버그를 탐지한다.
• 분석은 소리 있고 완전하여 결정성 검증에서 거짓 음성 결과가 발생하지 않는다.
• 결정성 분석을 재사용함으로써 동일성 검증을 효과적으로 수행하여 구성 신뢰성을 향상시킨다.