[논문 리뷰] PIQL: Success-Tolerant Query Processing in the Cloud

Michael Armbrust, Kristal Curtis외 4명|arXiv (Cornell University)|2011. 11. 30.

Cloud Computing and Resource Management참고 문헌 22인용 수 4

한 줄 요약

PIQL는 쿼리당 키/값 연산 수를 정적으로 제한함으로써 스케일 독립성을 보장하는 선언적 쿼리 언어를 도입하여, 대량의 데이터 증가 상황에서도 예측 가능한 성능을 제공한다. 컴파일 타임 분석, SLO 준수 예측, 확장 가능한 키/값 백엔드를 조합함으로써 PIQL은 개발자가 데이터 독립성이나 명령형 코드를 포기하지 않고도 성공에 강건한 웹 애플리케이션을 구축할 수 있도록 한다.

ABSTRACT

Newly-released web applications often succumb to a "Success Disaster," where overloaded database machines and resulting high response times destroy a previously good user experience. Unfortunately, the data independence provided by a traditional relational database system, while useful for agile development, only exacerbates the problem by hiding potentially expensive queries under simple declarative expressions. As a result, developers of these applications are increasingly abandoning relational databases in favor of imperative code written against distributed key/value stores, losing the many benefits of data independence in the process. Instead, we propose PIQL, a declarative language that also provides scale independence by calculating an upper bound on the number of key/value store operations that will be performed for any query. Coupled with a service level objective (SLO) compliance prediction model and PIQL's scalable database architecture, these bounds make it easy for developers to write success-tolerant applications that support an arbitrarily large number of users while still providing acceptable performance. In this paper, we present the PIQL query processing system and evaluate its scale independence on hundreds of machines using two benchmarks, TPC-W and SCADr.

연구 동기 및 목표

• 웹 애플리케이션에서 빠른 사용자 증가로 인해 데이터베이스 오버로드 및 성능 저하가 발생하는 '성공 재난' 문제를 해결하기 위해.
• 伝통적인 관계형 데이터베이스 관리 시스템(RDBMS)이 데이터 독립성 덕분에 비용이 많이 드는 연산을 숨기며 스케일링 실패를 유도하는 한계를 극복하기 위해.
• 선언적 쿼리 언어의 이점을 유지하면서도 대규모 환경에서도 예측 가능한 성능을 보장하는 솔루션을 제공하기 위해.
• 개발자가 데이터 독립성을 포기하거나 저수준의 명령형 코드를 사용하지 않고도 고도로 확장 가능한 웹 애플리케이션을 구축할 수 있도록 하기 위해.

제안 방법

• PIQL는 쿼리 컴파일 시 정적 분석을 사용하여 어떤 쿼리 계획이라도 허용 가능한 키/값 스토어 연산 수의 상한을 계산한다.
• 시스템은 운영 수가 유한하지 않은 쿼리 계획은 거부함으로써 스케일 독립성을 확보하며, 이는 소규모 데이터셋에서는 더 빠르지만 대규모 데이터에서는 성능 저하가 발생할 수 있음에도 불구하고 적용된다.
• 서비스 수준 목표(SLO) 준수 예측 모델은 컴파일 타임에 응답 시간을 추정하여 성능 리스크를 조기에 탐지할 수 있도록 한다.
• 실행 엔진은 병렬 처리와 파이프라인 연산자를 활용하여 지연 시간을 최소화하며, 데이터 정지 연산자는 선택 논리를 데이터 소스에 가까이 위치시킨다.
• 쿼리 컴파일러는 임계값 알고리즘과 정지 후 로직을 통합하여 중간 결과 크기를 제한하고 I/O를 줄인다.
• PIQL의 아키텍처는 분산 키/값 스토어를 레코드 매니저로 사용하여 선형 확장성과 요청당 예측 가능한 성능을 달성한다.

실험 결과

연구 질문

• RQ1 소규모 데이터에서 잘 작동하는 쿼리가 데이터가 증가함에 따라 성능 저하 없이 유지되는가를 보장하는 선언적 쿼리 언어의 스케일 독립성이 가능한가?
• RQ2 복잡한 SQL 유사 쿼리에 대해 키/값 연산 수에 대한 컴파일 타임 제한을 어떻게 계산할 수 있는가? 이는 예측 가능한 성능을 확보하기 위함이다.
• RQ3 정적 분석과 런타임 통계를 사용하여 컴파일 타임에 SLO 준수를 얼마나 정확하게 예측할 수 있는가?
• RQ4 선언적 쿼리, 정적 제한, 키/값 스토리지가 결합된 시스템이 대규모 환경에서 선형 확장성과 낮은 지연 시간을 달성할 수 있는가?
• RQ5 PIQL의 표현력은 TPC-W나 트위터 유사 워크로드와 같은 실제 웹 애플리케이션 워크로드를 지원하는 데 얼마나 충분한가?

주요 결과

• PIQL는 모든 쿼리에 대해 키/값 연산 수를 정확히 제한하여 데이터 확장 시 성능 저하가 발생하지 않음을 보장한다.
• SLO 예측 모델은 응답 시간을 높은 정확도로 추정하여 개발자가 배포 전에 성능 병목 현상을 식별하고 수정할 수 있도록 한다.
• TPC-W와 트위터 유사 벤치마크에서의 평가 결과, PIQL은 수백台의 머신을 거쳐도 중부하 상황에서도 낮고 예측 가능한 지연 시간을 유지한다.
• PIQL의 쿼리 언어는 조인과 집계를 포함한 복잡한 인터랙티브 웹 애플리케이션을 지원할 정도로 충분히 표현력이 있다.
• 시스템은 선형 확장성과 일관된 성능을 보이며, 데이터 크기가 수개월에 걸쳐 수천 배로 증가하더라도 응답 시간이 SLO 내에 유지된다.
• 정적 분석, 제한된 실행 계획, 키/값 백엔드의 조합은 개발자가 명령형 코드를 작성하지 않고도 성공에 강건한 시스템을 달성할 수 있도록 한다.