[논문 리뷰] Decreasing log data of multi-tier services for effective request tracing

Bo Sang, Jianfeng Zhan외 1명|arXiv (Cornell University)|2010. 03. 04.

Software System Performance and Reliability참고 문헌 2인용 수 3

한 줄 요약

이 논문은 요청 추적 중에 가치 없는 인과 경로를 제거함으로써 다층 서비스 아키텍처에서 부적절한 로그 데이터를 줄이기 위한 새로운 알고리즘을 제안한다. 비정보성 로그를 식별하고 제거함으로써, 이 방법은 로그 용량을 84% 감소시켜 대규모 데이터 센터에서 확장성과 효율성을 크게 향상시키지만 디버깅 효과성은 손상시키지 않는다.

ABSTRACT

Previous work shows request tracing systems help understand and debug the performance problems of multi-tier services. However, for large-scale data centers, more than hundreds of thousands of service instances provide online service at the same time. Previous work such as white-box or black box tracing systems will produce large amount of log data, which would be correlated into large quantities of causal paths for performance debugging. In this paper, we propose an innovative algorithm to eliminate valueless logs of multitiers services. Our experiment shows our method filters 84% valueless causal paths and is promising to be used in large-scale data centers.

연구 동기 및 목표

• 수십만 개의 서비스 인스턴스를 가진 대규모 다층 서비스 아키텍처에서 요청 추적의 확장성 문제를 해결하기 위해.
• 기존 화이트박스 및 블랙박스 추적 시스템이 생성하는 로그 데이터의 부피를 줄이기 위해.
• 성능 디버깅에 기여하지 않는 가치 없는 인과 경로를 제거하기 위해.
• 생산용 데이터 센터에서 요청 추적의 효율성과 효과성을 향상시키기 위해.
• 분산 시스템에서 확장 가능하고 저오버헤드 성능 디버깅을 가능하게 하기 위해.

제안 방법

• 제안된 알고리즘은 서비스 계층 간의 요청 흐름을 분석하여 인과 경로 재구성에 기여하지 않는 로그를 식별하고 제거한다.
• 의존성 및 실행 컨텍스트 분석을 활용하여 정보성과 중복되는 로그 항목을 구분한다.
• 인과 경로의 관련성에 기반한 가지치기 전략을 적용하여 진단적 통찰력을 제공하지 않는 경로를 제거한다.
• 경로 상관관계 및 필터링을 위해 최소한의 메타데이터를 수집하기 위해 경량 인스트루멘테이션을 사용한다.
• 실시간으로 작동하여 서비스 실행 중에 로그 용량을 즉각적으로 줄일 수 있다.
• 기존 추적 인fra구조와의 통합을 위해 아키텍처의 전반적인 개편이 필요하지 않다.

실험 결과

연구 질문

• RQ1 필수적인 디버깅 정보를 손실하지 않으면서 대규모 다층 서비스 아키텍처에서 로그 데이터 부피를 어떻게 줄일 수 있는가?
• RQ2 요청 추적에서 가치 없는 인과 경로를 식별하고 제거하기 위해 어떤 기준을 사용할 수 있는가?
• RQ3 종단 간 요청 추적 가능성을 유지하면서 얼마나 많은 중복 로그를 필터링할 수 있는가?
• RQ4 경량이고 확장 가능한 알고리즘이 실제 생산 환경의 데이터 센터에서 로그 오버헤드를 효과적으로 줄일 수 있는가?
• RQ5 로그 감소가 성능 디버깅의 정확성과 완전성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 다층 서비스 환경에서 가치 없는 인과 경로의 84%를 필터링한다.
• 로그 데이터 감소로 인해 대규모 배포 환경에서 스토리지 및 처리 오버헤드가 크게 감소한다.
• 알고리즘은 관련 진단 경로만 유지함으로써 요청 추적의 높은 정밀도를 유지한다.
• 최소한의 성능 영향으로 실시간 생산 환경에서도 효과적으로 작동한다.
• 기존 분산 추적 시스템에의 통합 잠재력이 높다.
• 결과는 다층 시스템에서 수집된 로그의 대부분이 디버깅에 기여하지 않음을 시사하며, 이는 필터링이 매우 효과적임을 나타낸다.