[논문 리뷰] Polynesia: Enabling Effective Hybrid Transactional/Analytical Databases with Specialized Hardware/Software Co-Design

Amirali Boroumand, Saugata Ghose외 2명|arXiv (Cornell University)|2021. 03. 01.

Distributed systems and fault tolerance참고 문헌 64인용 수 20

한 줄 요약

폴리네시아는 하드웨어-소프트웨어 공동 설계를 통해 작업을 고립된 트랜잭션 처리 및 분석 처리 영역으로 분할하는 하이브리드 트랜잭션/분석 처리(HTAP) 데이터베이스 시스템이다. 이는 전용 가속기와 메모리 내 처리를 활용해 데이터 이동과 일관성 오버헤드를 줄인다. 최신 기술 대비 평균 트랜잭션 처리량은 1.70배 높고, 분석 처리량은 3.74배 높으며, 에너지 소비는 48% 낮다.

ABSTRACT

An exponential growth in data volume, combined with increasing demand for real-time analysis (i.e., using the most recent data), has resulted in the emergence of database systems that concurrently support transactions and data analytics. These hybrid transactional and analytical processing (HTAP) database systems can support real-time data analysis without the high costs of synchronizing across separate single-purpose databases. Unfortunately, for many applications that perform a high rate of data updates, state-of-the-art HTAP systems incur significant drops in transactional (up to 74.6%) and/or analytical (up to 49.8%) throughput compared to performing only transactions or only analytics in isolation, due to (1) data movement between the CPU and memory, (2) data update propagation, and (3) consistency costs. We propose Polynesia, a hardware-software co-designed system for in-memory HTAP databases. Polynesia (1) divides the HTAP system into transactional and analytical processing islands, (2) implements custom algorithms and hardware to reduce the costs of update propagation and consistency, and (3) exploits processing-in-memory for the analytical islands to alleviate data movement. Our evaluation shows that Polynesia outperforms three state-of-the-art HTAP systems, with average transactional/analytical throughput improvements of 1.70X/3.74X, and reduces energy consumption by 48% over the prior lowest-energy system.

연구 동기 및 목표

• 데이터 이동, 업데이트 전파, 일관성 오버헤드로 인한 최신 HTAP 시스템의 성능 저하 문제를 해결한다.
• 자원 경쟁으로 인한 트랜잭션 및 분석 워크로드 간 성능 간섭을 극복한다.
• 양쪽 워크로드에 대해 동시에 높은 처리량과 낮은 지연을 달성하며, 고립된 성능을 유지한다.
• 데이터 신선도와 강력한 일관성 보장을 확보한 실시간 분석을 가능하게 한다.
• 워크로드 특화 최적화, 데이터 신선도, 성능 고립의 세 가지 이상의 이상적 HTAP 특성을 모두 만족하는 시스템을 설계한다.

제안 방법

• HTAP 시스템을 전용 트랜잭션 처리 및 분석 처리 영역으로 분할하여, 각 영역에 고립된 데이터 복제본, 최적화된 실행 엔진, 맞춤형 하드웨어 자원을 제공한다.
• 두 영역 간 효율적인 업데이트 전파를 위한 맞춤형 하드웨어 가속기와 알고리즘을 구현하여 CPU에서 메모리로의 데이터 이동을 최소화한다.
• 분석 쿼리가 차단 없이 일관되고 최신 상태의 데이터 뷰를 볼 수 있도록 보장하는 신규 일관성 메커니즘을 도입한다.
• 분석 영역에서 처리-메모리(PIM) 아키텍처를 활용해 외부 메모리 액세스를 줄이고 분석 쿼리 실행을 가속화한다.
• 다양한 보물상자 그룹 간 태스크 스틸링을 통한 동적 로드 밸런싱을 가능하게 하는 런타임 태스크 스케줄러를 설계한다.
• 저지연 통신 오버헤드를 유지하면서도 다수의 HMC 메모리 스택에 걸쳐 확장 가능한 프로세서 중심의 인터커넥트 토폴로지 구조를 사용한다.

실험 결과

연구 질문

• RQ1 하드웨어-소프트웨어 공동 설계가 HTAP 시스템에서 데이터 이동과 일관성 메커니즘으로 인한 성능 저하를 어떻게 완화할 수 있는가?
• RQ2 전용 처리 영역을 통한 워크로드 고립이 트랜잭션 및 분석 워크로드 간 성능 간섭을 얼마나 효과적으로 제거할 수 있는가?
• RQ3 처리-메모리(PIM) 기법이 HTAP 시스템 내 분석 워크로드의 데이터 이동과 에너지 소비를 상당히 줄일 수 있는가?
• RQ4 양쪽 워크로드에 대해 높은 처리량을 유지하면서도 데이터 신선도와 일관성을 어떻게 확보할 수 있는가?
• RQ5 데이터 크기와 하드웨어 규모가 증가함에 따라 공동 설계된 시스템의 확장성과 에너지 효율성은 어떠한가?

주요 결과

• 폴리네시아는 세 종류의 최신 기술 HTAP 시스템 대비 평균 트랜잭션 처리량은 1.70배 높고, 분석 처리량은 3.74배 높다.
• 최저 에너지 소비를 기록한 이전 시스템 대비 에너지 소비를 48% 감소시켰으며, 주로 외부 메모리 액세스를 최소화하고 효율적인 PIM 코어를 사용함으로써 달성했다.
• 데이터 크기가 증가함에 따라 분석 처리량이 잘 확장되며, 네 개의 HMC 스택을 통해 데이터셋 크기가 두 배로 증가하더라도 다중 인스턴스 베이스라인 대비 최대 3.0배 빠른 성능을 기록한다.
• 폴리네시아에서 HMC 스택을 한 개에서 네 개로 확장할 경우 트랜잭션 처리량은 단지 8.8% 감소하는 데 반해, 다중 인스턴스 베이스라인은 54.4% 감소한다.
• 하이브리드 스케줄러(Hybrid-sched) 버전에서의 태스크 스틸링은 원격 메모리 액세스 오버헤드를 줄이며, 분석 처리량을 이상적 원격 액세스 기준에 3.2% 내외로 유지한다.
• 업데이트 적용 지연이 낮게 유지되면서도 데이터 일관성을 확보함으로써, 성능 손실 없이 워크로드 간 효과적인 고립을 달성했다.