[논문 리뷰] CoPhy: A Scalable, Portable, and Interactive Index Advisor for Large Workloads

Debabrata Dash, Neoklis Polyzotis외 1명|arXiv (Cornell University)|2011. 04. 16.

Data Management and Algorithms참고 문헌 18인용 수 8

한 줄 요약

CoPhy는 구조적 선형 최적화 문제로 인덱스 튜닝을 모델링하여 대규모 데이터베이스 워크로드에 대해 확장성 있고 이식 가능하며 상호작용 가능한 인덱스 조언자를 제안한다. 이는 수천 개의 쿼리, 후보 인덱스, 하드/소프트 제약 조건의 해 공간을 효율적으로 탐색하여 실제 워크로드에서 최신 기술 대비 성능을 최대 10배 향상시킨다.

ABSTRACT

Index tuning, i.e., selecting the indexes appropriate for a workload, is a crucial problem in database system tuning. In this paper, we solve index tuning for large problem instances that are common in practice, e.g., thousands of queries in the workload, thousands of candidate indexes and several hard and soft constraints. Our work is the first to reveal that the index tuning problem has a well structured space of solutions, and this space can be explored efficiently with well known techniques from linear optimization. Experimental results demonstrate that our approach outperforms state-of-the-art commercial and research techniques by a significant margin (up to an order of magnitude).

연구 동기 및 목표

• 수천 개의 쿼리와 후보 인덱스를 포함한 대규모 데이터베이스 워크로드에서 인덱스 튜닝의 과제를 해결한다.
• 확장성과 복잡한 제약 조건에서 어려움을 겪는 기존 인덱스 조언자의 한계를 극복한다.
• 실시간 데이터베이스 튜닝에서 인덱스 선택의 해 공간을 상호작용적으로 탐색할 수 있도록 한다.
• 다양한 데이터베이스 시스템과 워크로드에 적용 가능한 이식성 있고 효율적인 솔루션을 제공한다.
• 인덱스 튜닝 문제의 본질적 구조를 포괄하는 체계적인 최적화 프레임워크를 도입한다.

제안 방법

• 선택성, 물리화, 워크로드 요구사항에 대한 제약 조건을 포함한 총 비용을 최소화하는 목적 함수를 가진 선형 프로그램으로 인덱스 튜닝 문제를 모델링한다.
• 선형 최적화의 이중성과 민감도 분석을 활용하여 해 공간을 효율적으로 탐색한다.
• 문제를 다룰 수 있는 하위문제들로 분해하는 방법을 사용하여 대규모 워크로드를 처리한다.
• 사용자가 지정한 하드 및 소프트 제약 조건을 최적화 모델에 통합하여 실질적인 인덱싱 정책을 반영한다.
• 성능, 스토리지, 제약 조건 간의 트레이드오프를 탐색할 수 있도록 상호작용 인터페이스를 구현한다.
• 온난 시작 기법과 반복적 정밀화를 적용하여 대규모 인스턴스에서 수렴 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 인덱스 튜닝 문제는 선형 프로그래밍을 통한 효율적 해법이 가능한 체계적인 최적화 문제로 모델링될 수 있는가?
• RQ2 수천 개의 쿼리와 후보 인덱스를 포함한 워크로드에서 확장성은 어떻게 달성할 수 있는가?
• RQ3 해 공간의 상호작용적 탐색이 실질적인 데이터베이스 튜닝에 얼마나 기여하는가?
• RQ4 하드 및 소프트 제약 조건은 인덱스 구성의 품질과 실행 가능성에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 성능과 효율성 측면에서 기존 상용 및 연구 기반 인덱스 조언자보다 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• CoPhy는 대규모 워크로드에서 최신 기술 대비 상용 및 연구 도구 대비 최대 10배 빠른 인덱스 선택 성능을 달성한다.
• 인덱스 튜닝의 해 공간은 체계적이며 선형 최적화 기법을 통해 효율적으로 탐색할 수 있다.
• 이 방법은 수천 개의 쿼리와 수천 개의 후보 인덱스를 포함한 워크로드에 효과적으로 스케일링된다.
• 해 공간의 상호작용적 탐색을 통해 데이터베이스 관리자는 성능, 스토리지, 제약 조건 간의 균형을 잘 이해하고 결정을 내릴 수 있다.
• 하드 및 소프트 제약 조건의 통합은 생성된 인덱스 구성의 실용성과 사용성에 크게 기여한다.
• 민감도 분석 및 이중성 통찰을 통해 워크로드나 제약 조건 파rameter가 변경될 경우 빠른 재튜닝이 가능하다.