[논문 리뷰] Finding Needles in the Haystack: Harnessing Syslogs for Data Center Management

Chen Liang, Theophilus Benson외 2명|arXiv (Cornell University)|2016. 05. 19.

Software System Performance and Reliability참고 문헌 23인용 수 5

한 줄 요약

이 논문은 통계 기법과 프로토콜 전용 도메인 모델을 활용해 데이터 센터 네트워크의 비정형 syslog 메시지를 자동으로 분석하여 원인 문제 그래프(Problem Graphs, PGs)를 구성하는 Log-Prophet 시스템을 제안한다. 이는 경고 노이즈를 크게 줄이고 루트 코스 및 연쇄 장애를 정밀하게 진단하는 데 기여한다. 주요 기여는 수백만 건의 syslog 라인을 다룰 수 있는 확장성 있는 프레임워크로, 이를 통해 관리 가능한 13개의 고유한 PGs로 요약되며, 네트워크 계층 간의 운영 패턴을 드러낸다.

ABSTRACT

Network device syslogs are ubiquitous and abundant in modern data centers with most large data centers producing millions of messages per day. Yet, the operational information reflected in syslogs and their implications on diagnosis or management tasks are poorly understood. Prevalent approaches to understanding syslogs focus on simple correlation and abnormality detection and are often limited to detection providing little insight towards diagnosis and resolution. Towards improving data center operations, we propose and implement Log-Prophet, a system that applies a toolbox of statistical techniques and domain-specific models to mine detailed diagnoses. Log-Prophet infers causal relationships between syslog lines and constructs succinct but valuable problem graphs, summarizing root causes and their locality, including cascading problems. We validate Log-Prophet using problem tickets and through operator interviews. To demonstrate the strength of Log-Prophet, we perform an initial longitudinal study of a large online service provider's data center. Our study demonstrates that Log-Prophet significantly reduces the number of alerts while highlighting interesting operational issues.

연구 동기 및 목표

• 높은 양의 데이터와 진단 잠재력에도 불구하고 데이터 센터 운영에서 syslog 데이터가 여전히 저평가되고 있는 문제를 해결하기 위해.
• 소스 코드나 단순 상관관계에 의존하는 기존 로그 분석 도구가 비공개 소스 네트워크 장비에는 효과적이지 않은 점을 극복하기 위해.
• 원인 관계를 추론하여 루트 코스 진단과 해결을 지원하는 확장성 있고 도메인 인지 시스템을 개발하기 위해.
• 대규모 데이터 센터에서 7개월 간의 운영 트래픽을 대상으로 시스템을 검증하기 위해.

제안 방법

• Log-Prophet는 비정형 syslog 메시지에서 패턴을 탐지하기 위해 통계 기법을 적용하고, 프로토콜 전용 모델(예: OSPF, 라우팅)을 활용해 원인 관계를 추론한다.
• 시스템은 장치와 네트워크 계층 간의 이벤트 시퀀스와 그 원인 관계를 표현하는 문제 그래프(Problem Graphs, PGs)를 구성한다.
• 유사한 PGs를 클러스터링과 수동 점검을 통해 22개의 고수준 유형으로 묶어내어 반복적인 장애 패턴의 분류 및 추상화를 가능하게 한다.
• 네트워킹 프로토콜의 도메인 지식을 통합해 통계 분석을 안내함으로써 정확도를 향상시키고 거짓 양성(false positives)을 줄인다.
• 프로토타입은 5,000대 이상의 장치에서 오는 7개월 간의 syslog 데이터를 처리하여 수백만 건의 메시지를 156개 클래스에 속하는 4,264개의 PG 인스턴스로 매핑한다.
• ToR, AGG, MB 계층과 같은 네트워크 계층에서 PG를 평가하여 장애 분포, 지속 시간, 계층 간 전파 패턴을 분석한다.

실험 결과

연구 질문

• RQ1 비정형이자 제조사 전용인 syslog는 어떻게 데이터 센터 네트워크에서 실질적인 원인 진단으로 전환될 수 있는가?
• RQ2 syslog 메시지 간의 원인 관계를 체계적으로 추출할 경우, 어떤 장애 전파 패턴이 드러나는가?
• RQ3 장애 특성과 빈도는 어떤 네트워크 계층(예: ToR, AGG, 미들박스) 간에 어떻게 다름이 있는가?
• RQ4 소규모의 대표성 있는 문제 그래프(PGs)가 실제 데이터 센터의 방대한 syslog 데이터를 어느 정도 요약할 수 있는가?

주요 결과

• Log-Prophet는 수억 건의 syslog 라인을 단 13개의 고유한 문제 그래프(PGs)로 줄여내어 데이터 요약과 노이즈 감소의 뚜렷한 성과를 보였다.
• 모든 PG의 93% 이상이 ToR 계층에서 발생했으며, 이는 커머셜 ToR 장치가 코어나 집계 계층보다 높은 장애 비율을 보임을 반영한다.
• 미들박스(MB) 계층은 가상 IP 이동, 라우팅 문제, 하드웨어 고장의 세 가지 유형의 PG로 주로 구성되었으며, 로드 밸런서는 고유한 장애 패턴을 생성했다.
• syslog 라인 수와 PG 지속 시간 사이에 직접적인 상관관계가 없었으며, 이는 원시 로그 볼륨이 문제의 심각도나 지속 시간을 잘 대체하지 못한다는 것을 시사한다.
• 연쇄 장애가 빈번히 관찰되었으며, ToR 장치의 인터페이스 장애가 인접한 AGG 장치의 OSPF 라우팅 프로토콜에 영향을 미쳤다.
• 수동 점검과 클러스터링을 통해 제조사 및 펌웨어 버전을 초월해 반복적인 고수준 장애 패턴을 식별했으며, 이는 교차 제조사 분류를 가능하게 했다.