[논문 리뷰] SAIC: Identifying Configuration Files for System Configuration Management

Zhen Huang, David Lie|arXiv (Cornell University)|2017. 11. 06.

Distributed systems and fault tolerance참고 문헌 46인용 수 3

한 줄 요약

SAIC는 시스템 관리에서 파일 내용 유사도를 분석하여 구성 파일을 자동으로 식별하는 통계적 프레임워크이다. 구성 파일은 시간이 지남에 따라 천천이 변화하기 때문에 이를 활용한다. 이는 비구성 파일을 걸러내어 복구 작업을 줄이며, 60%의 거짓 양성률을 동반한 90%의 구성 파일 탐지율을 달성하여 두 사용자 트레이스에서 버전 관리 시스템이 최대 7GB의 중복 파일 버전을 제거할 수 있도록 한다.

ABSTRACT

Systems can become misconfigured for a variety of reasons such as operator errors or buggy patches. When a misconfiguration is discovered, usually the first order of business is to restore availability, often by undoing the misconfiguration. To simplify this task, we propose the Statistical Analysis for Identifying Configuration Files (SAIC), which analyzes how the contents of a file changes over time to automatically determine which files contain configuration state. In this way, SAIC reduces the number of files a user must manually examine during recovery and allows versioning file systems to make more efficient use of their versioning storage. The two key insights that enable SAIC to identify configuration files are that configuration state must persist across executions of an application and that configuration state changes at a slower rate than other types of application state. SAIC applies these insights through a set of filters, which eliminate non-persistent files from consideration, and a novel similarity metric, which measures how similar a file's versions are to each other. Together, these two mechanisms enable SAIC to identify all 72 configuration files out of 2363 versioned files from 6 common applications in two user traces, while mistaking only 33 non-configuration files as configuration files, which allows a versioning file system to eliminate roughly 66% of non-configuration file versions from its logs, thus reducing the number of file versions that a user must try to recover from a misconfiguration.

연구 동기 및 목표

• 오류가 발생한 시스템에서 구성 파일을 식별하는 데 도전하는 데, 수동으로 식별하는 것은 실수를 범하기 쉽고 시간이 오래 걸린다.
• 비구성 파일을 걸러내어 버전 관리 파일 시스템의 저장소 및 복구 오버헤드를 줄이는 것.
• 응용 프로그램의 구조나 구성 형식에 대한 사전 지식이 없이도 자동으로 히우리스틱 기반으로 구성 파일을 탐지할 수 있도록 하는 것.
• 버전 관리 시스템이 관련 있는 파일 버전만 선택적으로 유지할 수 있도록 안내하여 효율성과 사용성을 향상시키는 것.

제안 방법

• 분석 전에 일시적, 영구적이지 않은, 사용자 데이터 파일을 제거하기 위해 세 가지 필터를 적용하여 파일 후보 집합을 줄인다.
• 파일 내용이 버전 간에 얼마나 일관되게 변화하는지 측정하기 위해 라빈 지문을 기반으로 한 새로운 유사도 메트릭을 사용한다. 높은 유사도는 구성 상태를 나타낸다.
• 계산 비용을 줄이면서도 정확도를 유지하기 위해 샘플링 방법을 사용하여 시간에 따른 파일 유사도를 계산한다.
• 최적의 측정 시점을 결정하기 위해 트리거 포인트 함수를 활용하여 최소한의 측정 수로 충분한 시간적 커버리지 확보.
• 가용 저장소에 따라 유사도 임계값을 동적으로 조정하여 탐지율과 거짓 양성률 간의 트레이드오프를 가능하게 한다.
• SAIC는 응용 프로그램에 대한 인스트루멘테이션이나 사전 지식이 필요 없는 블랙박스 분석 도구로 작동한다.

실험 결과

연구 질문

• RQ1 응용 프로그램의 구조나 구성 형식에 대한 사전 지식 없이도 임의의 응용 프로그램에서 구성 파일을 자동으로 식별할 수 있는 방법은 무엇인가?
• RQ2 파일 내용의 변화 양상이 시간이 지남에 따라 구성 파일과 다른 유형의 응용 프로그램 상태를 어떻게 구분할 수 있는가?
• RQ3 다양한 응용 프로그램에서 파일 버전 간의 통계적 유사도를 얼마나 정확하게 구성 파일 식별에 활용할 수 있는가?
• RQ4 버전 관리 시스템이 구성 관련 파일 버전만 선택적으로 유지함으로써 저장소 오버헤드와 복구 복잡성을 얼마나 줄일 수 있는가?

주요 결과

• 두 사용자 트레이스에서 6개의 일반 응용 프로그램에 대해 총 2363개의 버전 관리 파일 중 72개의 구성 파일을 모두 식별하여 100% 리콜을 달성했다.
• 60%의 거짓 양성률을 동반한 90%의 구성 파일 탐지율을 확보하여 비구성 파일 버전 713,129개를 제거하고 7GB의 저장소 절약을 달성했다.
• 유사도 임계값을 80%로 설정했을 때, SAIC는 90%의 구성 파일을 정확히 식별하면서도 비구성 파일의 60%를 버전 관리 로그에서 제거했다.
• 샘플링 및 트리거 포인트 메커니즘은 정확도에 거의 영향을 주지 않으면서도 계산 비용을 줄여 지속적인 운영을 가능하게 했다.
• 사용자가 롤백 시 검토해야 할 파일 수를 한 단계 또는 두 단계 정도 줄였다.
• 이 방법은 구성 파일을 비표준적이며 설명이 적절하지 않은 파일에 저장하는 응용 프로그램에도 효과적으로 작동한다.