[논문 리뷰] Why Did My Query Slow Down?

Nedyalko Borisov, Shivnath Babu외 3명|arXiv (Cornell University)|2009. 07. 18.

Software System Performance and Reliability참고 문헌 13인용 수 5

한 줄 요약

이 논문은 데이터베이스 쿼리 실행 계획과 스토리지 영역 네트워크(SAN) 성능 데이터를 관련짓는 데 Annotated Plan Graphs(APGs)를 사용하는 진단 프레임워크인 Diads를 제안한다. 이는 데이터베이스 및 스토리지 계층 간의 쿼리 성능 저하 원인을 분석할 수 있도록 하며, 기계학습과 도메인 특화 증상 데이터베이스를 통합함으로써 실질적인 기업 환경에서 높은 정확도로 복잡한 다중 계층 원인을 식별한다.

ABSTRACT

Many enterprise environments have databases running on network-attached server-storage infrastructure (referred to as Storage Area Networks or SANs). Both the database and the SAN are complex systems that need their own separate administrative teams. This paper puts forth the vision of an innovative management framework to simplify administrative tasks that require an in-depth understanding of both the database and the SAN. As a concrete instance, we consider the task of diagnosing the slowdown in performance of a database query that is executed multiple times (e.g., in a periodic report-generation setting). This task is very challenging because the space of possible causes includes problems specific to the database, problems specific to the SAN, and problems that arise due to interactions between the two systems. In addition, the monitoring data available from these systems can be noisy. We describe the design of DIADS which is an integrated diagnosis tool for database and SAN administrators. DIADS generates and uses a powerful abstraction called Annotated Plan Graphs (APGs) that ties together the execution path of queries in the database and the SAN. Using an innovative workflow that combines domain-specific knowledge with machine-learning techniques, DIADS was applied successfully to diagnose query slowdowns caused by complex combinations of events across a PostgreSQL database and a production SAN.

연구 동기 및 목표

• 데이터베이스 시스템과 SAN 인프라 간의 상호작용으로 인한 쿼리 성능 저하 원인을 진단하는 데 어려움이 있으며, 이는 조직 내 관리 틈새화로 인해 잘못된 책임 소재가 지정되는 경우가 많다는 문제를 해결하기 위해.
• 데이터베이스 및 SAN 관리자 간의 '비난 게임'을 제거함으로써 문제 해결 시간과 비용을 줄이기 위해 종단 간 가시성을 제공하기 위해.
• 데이터베이스 계층과 스토리지 계층의 성능 데이터를 새로운 추상화인 Annotated Plan Graphs(APGs)를 사용해 통합하는 통합 진단 프레임워크를 개발하기 위해.
• 데이터베이스 연산자와 SAN 구성 요소 간의 종속성을 모델링하여 종단 간 성능에 영향을 주는 설정 변경이나 워크로드 변화의 영향을 분석함으로써 사전 진단 및 설정 영향 분석을 가능하게 하기 위해.
• 노이즈가 많고 고차원적인 모니터링 환경에서 기계학습과 전문가가 정의한 증상 및 원인 관계 추론을 융합하여 진단 정확도를 향상시키기 위해.

제안 방법

• 데이터베이스 쿼리 실행 계획을 SAN 구성 요소에 매핑하는 Annotated Plan Graphs(APGs)를 구축하며, 성능 지표 및 설정 데이터를 포함한다.
• 도메인 지식(증상 데이터베이스를 통해)과 기계학습을 융합한 하이브리드 접근 방식을 사용하여 다중 계층 간 비정상 행동을 탐지하고 관련짓는다.
• SQL 쿼리에서 실행 계획, 연산자에 이르기까지 최종적으로는 SAN 수준의 I/O, 지연 시간 및 설정 지표에 이르는 다단계 진단 워크플로우를 적용한다.
• 역사적 성능 데이터를 활용하여 사건 간 시간적 분산이 있더라도 관찰된 증상과 근본 원인 간의 인과 관계를 식별한다.
• 통계적 패tern과 전문가 규칙에서 유도된 가능성 점수를 기반으로 잠재적 근본 원인을 우선순위 순으로 정렬하는 증상 기반 진단 엔진을 구현한다.
• 설정 또는 워크로드 변경이 종단 간 성능에 미치는 영향을 모델링하여, 성능 문제가 발생하기 전에 예측하고 방지할 수 있도록 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 모니터링 데이터가 노이즈가 많고 굵은 분해능을 가지며, 근본 원인이 두 시스템 모두에 걸쳐 있을 경우, 데이터베이스 및 SAN 관리자가 공동으로 쿼리 성능 저하를 어떻게 진단할 수 있는가?
• RQ2 다중 계층 진단을 위해 데이터베이스 실행 계획을 SAN 수준의 성능 및 설정 데이터에 효과적으로 연결할 수 있는 추상화는 무엇인가?
• RQ3 복잡한 다중 계층 시스템에서 허위 상관관계를 피하기 위해 기계학습을 어떻게 효과적으로 도메인 특화 지식과 융합할 수 있는가?
• RQ4 실제 기업 환경에서, 고립된 규칙 기반 도구와 비교해 복합된 진단 시스템이 진단 시간을 단축하고 정확도를 향상시킬 수 있는가?
• RQ5 이러한 시스템이 성능 문제가 발생하기 전에 사전 진단 및 설정 영향 분석을 얼마나 잘 지원할 수 있는가?

주요 결과

• Diads는 PostgreSQL 데이터베이스와 SAN을 사용하는 실생산 환경에서 실제 쿼리 성능 저하를 성공적으로 진단하였으며, 이전에 고립된 모니터링으로는 감지되지 않았던 근본 원인을 식별하였다.
• Annotated Plan Graphs의 사용으로 쿼리 연산자와 SAN I/O 패턴 간의 정밀한 매핑이 가능해져, 공유 볼륨에서의 I/O 경쟁과 같은 숨겨진 종속성을 드러내었다.
• 도메인 지식(증상 데이터베이스)과 기계학습의 융합이 노이즈가 많은 모니터링 환경에서 거짓 경고를 크게 줄이고 진단 정확도를 향상시켰다.
• Diads는 쿼리 실행 계획 변경으로 인한 증가한 I/O 부하가 SAN 혼잡도 및 포트 포화와 상호작용하여 발생하는 복잡한 계단식 원인을 식별할 수 있었다.
• 프레임워크는 데이터 기반의 빠른 협업을 가능하게 하여 문제 해결 주기를 단축시키며 실용적 가치를 입증하였다.
• 이러한 접근은 사전 분석을 지원하여 관리자가 성능 저하가 발생하기 전에 이를 예측하고 방지할 수 있도록 한다.