[논문 리뷰] Query Log Compression for Workload Analytics

Ting Xie, Oliver Kennedy외 1명|arXiv (Cornell University)|2018. 09. 02.

Advanced Database Systems and Queries참고 문헌 37인용 수 3

한 줄 요약

이 논문은 분석을 위한 데이터베이스 워크로드를 효율적으로 요약하기 위해 패턴 기반 인코딩과 클러스터링을 사용하는 손실성 쿼리 로그 압축 기법 LogR를 제안한다. 충실도에 대한 계산적으로 효율적인 대체 측정기준으로 복원 오차(Reproduction Error)를 도입함으로써, 최신 기술 대비 더 빠르고 정확한 워크로드 요약을 달성하면서도 압축된 로그의 기계적 해석과 인간의 이해를 모두 가능하게 한다.

ABSTRACT

Analyzing database access logs is a key part of performance tuning, intrusion detection, benchmark development, and many other database administration tasks. Unfortunately, it is common for production databases to deal with millions or even more queries each day, so these logs must be summarized before they can be used. Designing an appropriate summary encoding requires trading off between conciseness and information content. For example: simple workload sampling may miss rare, but high impact queries. In this paper, we present LogR, a lossy log compression scheme suitable use for many automated log analytics tools, as well as for human inspection. We formalize and analyze the space/fidelity trade-off in the context of a broader family of "pattern" and "pattern mixture" log encodings to which LogR belongs. We show through a series of experiments that LogR compressed encodings can be created efficiently, come with provable information-theoretic bounds on their accuracy, and outperform state-of-art log summarization strategies.

연구 동기 및 목표

• 직접 처리하기에 너무 큰 크기의 대규모 데이터베이스 쿼리 로그를 분석하는 데 도전하는 것.
• 특히 드문 일어나지만 높은 영향을 미치는 쿼리들을 포함해 워크로드의 핵심 통계적 성질을 유지하는 손실성 압축 기법을 설계하는 것.
• 클래식한 측정기준인 모호성(Ambiguity)과 이격도(Deviation)와 강한 상관관계를 보이는, 계산적으로 효율적인 인코딩 충실도 측정 기준을 개발하는 것.
• 클러스터링 기반 패턴 혼합 인코딩을 통해 최적의 로그 요약을 위한 검색 공간을 줄이는 것.
• 정확성과 효율성 측면에서 기존 최신 기술 대비 뛰어난 성능을 보이는 것.

제안 방법

• LogR는 SELECT, FROM, WHERE 절과 같은 구조적 요소를 기반으로 쿼리를 비트 벡터 특징 벡터로 표현한다.
• 자주 함께 나타나는 구조적 요소(패턴)를 빈도에 따라 매핑하는 패턴 인코딩의 일련의 가족을 도입한다.
• 모든 가능한 인코딩에 대한 최적화가 비현실적인 데 기인해, LogR는 로그를 그룹으로 분할하기 위해 클러스터링을 사용함으로써 패턴 혼합 인코딩을 가능하게 한다.
• 각 클러스터가 자체 패턴 인코딩을 사용하여 독립적으로 압축되는 간단한 접근 방식인 난이 혼합 인코딩을 제안한다.
• 이론적 측정기준인 모호성과 이격도와 밀접하게 따라가는 실용적이고 계산이 빠른 인코딩 충실도 측정 기준인 복원 오차(Reproduction Error)를 도입한다.
• 성능 튜닝, 침입 탐지, 쿼리 추천 등에 적합하도록 순서에 의존하지 않는 집계 통계에 집중함으로써 고비용 추론을 피한다.

실험 결과

연구 질문

• RQ1 압축의 압축성과 충실도 사이의 균형을 유지하면서도 계산 효율성이 높은 손실성 압축 기법을 설계할 수 있는가?
• RQ2 복원 오차(Reproduction Error)는 모호성과 이격도와 같은 전통적 충실도 측정 기준에 대해 신뢰할 수 있고 효율적인 대체 측정 기준이 될 수 있는가?
• RQ3 클러스터링 기반 패턴 혼합 인코딩은 정확도를 훼손하지 않고 최적의 로그 요약을 위한 검색 공간을 크게 줄일 수 있는가?
• RQ4 LogR는 최신 기술의 패턴 기반 요약 기법과 비교해 성능과 정확성 측면에서 어떻게 성과를 내는가?
• RQ5 결과적으로 생성된 압축 요약은 기계적 효율성과 인간의 이해 가능성을 모두 확보할 수 있는가?

주요 결과

• LogR는 워크로드 요약 작업에서 최신 기술의 패턴 인코딩 알고리즘보다 더 빠른 압축 속도와 높은 정밀도를 달성한다.
• 복원 오차(Reproduction Error)는 전통적 충실도 측정 기준과 강한 상관관계를 보이며, 로그 인코딩 평가에 신뢰할 수 있고 효율적인 대체 측정 기준이 된다.
• 각 클러스터를 독립적으로 압축하는 난이 혼합 인코딩은 더 복잡한 최적화 기법과 경쟁 가능한 성능을 낸다.
• 패턴 혼합 인코딩을 위한 클러스터링 기반 접근 방식은 최적의 인코딩을 위한 검색 공간을 크게 줄여주며, 확장성 있고 효율적인 요약 구축을 가능하게 한다.
• LogR로 압축된 로그들은 드문 쿼리라도 성능에 큰 영향을 미칠 수 있는 핵심 워크로드 통계를 유지하며, 단순 샘플링의 단점을 피한다.
• 압축된 요약은 기계적 효율성과 인간의 이해 가능성을 모두 확보하여 자동화된 분석과 전문가의 검토를 모두 지원한다.