[논문 리뷰] Estudo de Viabilidade de uma Plataforma de Baixo Custo para Data Warehouse

Eduardo Cunha de Almeida|arXiv (Cornell University)|2011. 08. 03.

Big Data and Business Intelligence인용 수 3

한 줄 요약

이 논문은 복잡한 다중 사용자 워크로드를 벤치마킹하여, 오픈소스 기술—특히 PostgreSQL와 GNU/Linux—를 사용한 저비용 데이터 웨어하우스 플랫폼의 실현 가능성을 평가한다. 결과적으로 PostgreSQL은 복잡한 분석 쿼리를 처리할 수 있음을 보여주지만, 집계 및 쿼리 최적화에서 성능 저하 요인이 드러나며, 데이터 웨어하우스 워크로드에서의 향상 여지를 시사한다.

ABSTRACT

Often corporations need tools to improve their decision making in a competitive market. In general, these tools are based on data warehouse platforms to mange and analyze large amounts of data. However, several of these corporations do not have enough resources to buy such platforms because of the high cost. This work is dedicated to a feasibility study of a low cost platform to data warehouse. We consider as a low cost platform the use of open source software like the PostgreSQL database system and the GNU/Linux operational system. We verify the feasibility of this platform by executing two benchmarks that simulate a data warehouse workload. The workload reproduces a multi-user environment with the execution of complex queries, which executes: aggregations, nested sub queries, multi joins, in-line views and more. Considering the results we were able to highlight some problems on the PostgreSQL database system, and discuss improvements in the context of data warehouse.

연구 동기 및 목표

• 소규모 및 중소기업의 구축 비용을 줄이기 위해 오픈소스 소프트웨어를 사용한 저비용 데이터 웨어하우스 플랫폼의 실현 가능성 평가.
• 복잡한 쿼리와 다중 사용자 액세스를 수반하는 실제 데이터 웨어하우스 워크로드 하에서 PostgreSQL의 성능 평가.
• 데이터 웨어하우스 데이터베이스 시스템으로서 PostgreSQL을 사용할 경우 발생하는 성능 제약 및 확장성 문제 규명.
• PostgreSQL이 데이터 웨어하우스 환경에 적합하도록 향상시키기 위한 실질적인 권고안 제공.
• 오픈소스 솔루션이 상용 데이터 웨어하우스 플랫폼에 비해 비용 효율적인 대안이 될 수 있음을 입증.

제안 방법

• 실제 데이터 웨어하우스 워크로드를 시뮬레이션하는 벤치마크 세트 설계 및 구현.
• 데이터베이스 관리 시스템으로 PostgreSQL을, 운영 체제로 GNU/Linux를 사용하여 저비용 플랫폼 구성.
• 다중 사용자 환경에서 복잡한 쿼리를 동시 실행하는 두 가지 벤치마크 테스트 수행.
• 집계, 중첩된 서브쿼리, 다중 조인, 인라인 뷰 등의 연산을 포함하여 쿼리 실행을 강제 테스트.
• 쿼리 실행 시간, 자원 사용률, 시스템 확장성 등의 성능 메트릭 측정.
• 쿼리 실행 계획 및 실행 통계 분석을 통해 PostgreSQL 내 성능 저하 요인 규명.

실험 결과

연구 질문

• RQ1 PostgreSQL과 GNU/Linux를 기반으로 한 저비용 데이터 웨어하우스 플랫폼이 복잡한 분석 쿼리를 효과적으로 처리할 수 있는가?
• RQ2 데이터 웨어하우스 환경에서 일반적인 복잡한 쿼리 워크로드에 대해 PostgreSQL의 성능은 어떠한가?
• RQ3 데이터 웨어하우스 워크로드에서 PostgreSQL을 사용할 경우 주요 성능 저하 요인은 무엇인가?
• RQ4 기능성과 확장성 측면에서 오픈소스 소프트웨어가 상용 데이터 웨어하우스 솔루션을 얼마나 대체할 수 있는가?
• RQ5 PostgreSQL의 데이터 웨어하우스 워크로드 성능을 향상시키기 위해 필요한 최적화는 무엇인가?

주요 결과

• PostgreSQL는 집계, 서브쿼리, 다중 조인을 포함한 복잡한 데이터 웨어하우스 쿼리를 성공적으로 실행하였다.
• 중간 수준의 워크로드에서는 쿼리 실행 시간이 수용 가능했지만, 높은 동시성과 복잡한 중첩 쿼리에서는 성능이 크게 떨어졌다.
• 특히 다중 자기 조인을 포함한 특정 유형의 복잡한 쿼리에 대해 PostgreSQL의 쿼리 플래너가 비최적의 실행 계획을 생성하였다.
• 인덱스 사용과 통계 수집이 성능에 결정적인 영향을 미쳤으며, 오래된 또는 누락된 통계는 열악한 쿼리 계획을 초래했다.
• 고도의 동시 워크로드 하에서 자원 경쟁과 메모리 관리 문제로 인해 확장성에 한계가 드러났다.
• 이 연구는 PostgreSQL의 데이터 웨어하우스 워크로드에서의 성능 향상을 위한 특정 분야—예를 들어 쿼리 최적화 향상 및 물리적 뷰에 대한 더 나은 지원—의 개선 여지를 규명하였다.