[論文レビュー] Polynesia: Enabling Effective Hybrid Transactional/Analytical Databases with Specialized Hardware/Software Co-Design

Amirali Boroumand, Saugata Ghose+2 more|arXiv (Cornell University)|Mar 1, 2021

Distributed systems and fault tolerance参考文献 64被引用数 20

ひとこと要約

ポリネシアは、ワークロードを隔離されたトランザクショナル処理および分析処理の島に分割し、専用アクセラレータとメモリ内処理を活用することで、データ移動と整合性のオーバーヘッドを低減する、ハードウェア・ソフトウェア共同設計のHTAPデータベースシステムである。最新のシステムと比較して、平均1.70倍の高いトランザクショナルスループットと3.74倍の高い分析スループットを達成し、エネルギー消費量は48％低い。

ABSTRACT

An exponential growth in data volume, combined with increasing demand for real-time analysis (i.e., using the most recent data), has resulted in the emergence of database systems that concurrently support transactions and data analytics. These hybrid transactional and analytical processing (HTAP) database systems can support real-time data analysis without the high costs of synchronizing across separate single-purpose databases. Unfortunately, for many applications that perform a high rate of data updates, state-of-the-art HTAP systems incur significant drops in transactional (up to 74.6%) and/or analytical (up to 49.8%) throughput compared to performing only transactions or only analytics in isolation, due to (1) data movement between the CPU and memory, (2) data update propagation, and (3) consistency costs. We propose Polynesia, a hardware-software co-designed system for in-memory HTAP databases. Polynesia (1) divides the HTAP system into transactional and analytical processing islands, (2) implements custom algorithms and hardware to reduce the costs of update propagation and consistency, and (3) exploits processing-in-memory for the analytical islands to alleviate data movement. Our evaluation shows that Polynesia outperforms three state-of-the-art HTAP systems, with average transactional/analytical throughput improvements of 1.70X/3.74X, and reduces energy consumption by 48% over the prior lowest-energy system.

研究の動機と目的

• データ移動、更新伝搬、整合性のオーバーヘッドによって引き起こされる最新のHTAPシステムにおけるパフォーマンス劣化を是正する。
• リソース競合によるトランザクショナルおよび分析ワークロード間のパフォーマンス干渉を克服する。
• 両方のワークロードに対して同時に高いスループットと低レイテンシーを達成し、隔離されたパフォーマンスを再現する。
• データの新鮮さと強力な整合性保証を備えたリアルタイム分析を可能にする。
• ワークロード固有の最適化、データの新鮮さ、パフォーマンス隔離の3つの理想的なHTAP特性を満たすシステムを設計する。

提案手法

• HTAPシステムを、それぞれが独立したデータレプリカ、最適化された実行エンジン、特化したハードウェアリソースを備えた、専用のトランザクショナル処理島と分析処理島に分割する。
• CPUからメモリへのデータ移動を最小限に抑えるために、両島間での効率的な更新伝搬のためのカスタムハードウェアアクセラレータとアルゴリズムを実装する。
• 分析クエリがブロッキングせずに一貫性があり最新のデータビューを参照できるようにする、画期的なデータ整合性メカニズムを導入する。
• 分析処理島でプロセッシング・イン・メモリ（PIM）アーキテクチャを活用し、外部メモリアクセスを削減し、分析クエリ実行を高速化する。
• 動的ロードバランスを実現するためのタスクスティーリングを可能にするランタイムタスクスケジューラを設計する。このスケジューラは、ボルトグループ間でタスクを移動させ、リソースの利用効率とスループットを向上させる。
• プロセッサ中心のインタコネクトトポロジーを採用し、複数のHMCメモリスタックにわたってスケーリングしながら、通信オーバーヘッドを低く保つ。

実験結果

リサーチクエスチョン

• RQ1 ハードウェア・ソフトウェア共同設計は、HTAPシステムにおけるデータ移動および整合性メカニズムに起因するパフォーマンス劣化をどのように緩和できるか？
• RQ2 専用処理島によるワークロード隔離は、トランザクショナルおよび分析ワークロード間のパフォーマンス干渉をどの程度解消できるか？
• RQ3 プロセッシング・イン・メモリ（PIM）技術は、HTAPシステム内の分析ワークロードにおけるデータ移動とエネルギー消費量を顕著に削減できるか？
• RQ4 両方のワークロードの高スループットを達成しつつ、データの新鮮さと整合性をどのように維持できるか？
• RQ5 データサイズとハードウェア規模が増加するに伴い、共同設計されたこのシステムのスケーラビリティとエネルギー効率はどの程度か？

主な発見

• ポリネシアは、3つの最新のHTAPシステムと比較して、平均して1.70倍の高いトランザクショナルスループットと3.74倍の高い分析スループットを達成した。
• システムは、最もエネルギー効率が高かった既存システムと比較して、48％のエネルギー消費量削減を達成した。主な要因は、外部メモリアクセスの最小化と効率的なPIMコアの使用である。
• 分析スループットはデータサイズの増加に伴い良好にスケーリングされ、4つのHMCスタックにわたるデータセットサイズが2倍に増加しても、複数インスタンスベースラインを最大3.0倍も上回った。
• ポリネシアでは、HMCスタックを1つから4つにスケーリングした際、トランザクショナルスループットはたった8.8％の低下にとどまったが、複数インスタンスベースラインでは54.4％の大幅な低下を示した。
• ハイブリッドスケジューリング（Hybrid-sched）バリアントにおけるタスクスティーリングにより、リモートメモリアクセスのオーバーヘッドが低減され、分析スループットが理想のリモートアクセスベースラインからわずか3.2％以内に収まった。
• 更新適用レイテンシーは低く保ちつつ、データ整合性を確保した。これにより、パフォーマンスのペナルティを負わず、ワークロード間の効果的な隔離が実現された。