[論文レビュー] CoroBase: Coroutine-Oriented Main-Memory Database Engine

Yongjun He, Jiacheng Lu+1 more|arXiv (Cornell University)|Oct 29, 2020

Distributed systems and fault tolerance被引用数 5

ひとこと要約

CoroBaseは、メインメモリデータベースエンジンにおけるトランザクション間バッチ処理を可能にするコルーチンからトランザクションへのモデルを導入し、バックワードコンパチビリティを損なわずに軽量なコルーチンを用いて非同期プリフェッチによりデータスタールを隠ぺいする。48コアサーバー上では、最適化されたベースラインと比較して、読み取り中心のワークロードで最大2倍のスループット向上を達成した。

ABSTRACT

Data stalls are a major overhead in main-memory database engines due to the use of pointer-rich data structures. Lightweight coroutines ease the implementation of software prefetching to hide data stalls by overlapping computation and asynchronous data prefetching. Prior solutions, however, mainly focused on (1) individual components and operations and (2) intra-transaction batching that requires interface changes, breaking backward compatibility. It was not clear how they apply to a full database engine and how much end-to-end benefit they bring under various workloads. This paper presents \corobase, a main-memory database engine that tackles these challenges with a new coroutine-to-transaction paradigm. Coroutine-to-transaction models transactions as coroutines and thus enables inter-transaction batching, avoiding application changes but retaining the benefits of prefetching. We show that on a 48-core server, CoroBase can perform close to 2x better for read-intensive workloads and remain competitive for workloads that inherently do not benefit from software prefetching.

研究の動機と目的

• CPUとメモリの性能ギャップに起因するポインタチェイニングに起因するデータスタールの課題に対処すること。
• アプリケーションレベルの変更を必要とするマルチキーインタフェースや個々の操作に限定される既存のソフトウェアプリフェッチ技術の制限を克服すること。
• バックワードコンパチビリティを維持しながら、トランザクション間バッチ処理をサポートすることにより、フルデータベースエンジン全体でのエンドツーエンドのパフォーマンス向上を実現すること。
• 軽量なコンテキストスイッチングを用いて、計算とデータプリフェッチを複数のトランザクションにまたがって効率的にオーバーラップするコルーチンベースの実行モデルを設計すること。
• 生産環境向けデータベースエンジンにおける、コルーチンベースのプリフェッチの実世界のパフォーマンスインパクトを、多様なワークロードで評価すること。

提案手法

• トランザクションをコルーチンとしてモデル化することで、細粒度の協調的マルチタスク処理とトランザクション間バッチ処理を可能にする。
• 2段階のコルーチン設計を導入：リクエストごとに軽量なコルーチンを、複数のトランザクションにまたがるバッチ処理を管理する高レベルのコルーチンスケジューラを設ける。
• ポインタの間接参照ポイントにプリフェッチおよび一時停止操作を挿入することで、計算とメモリアクセスを重ね合わせる。
• C++20のコルーチンを活用することで、低レベルの状態マシン管理を回避しつつ、非同期でパイプライン処理された実行を簡素化する。
• 従来の単一レコードトランザクションインタフェースがコルーチンベースのバッチ処理と共存できるように、バックワードコンパチビリティを維持する。
• コルーチンフレーム管理を最適化し、メモリ使用量とスイッチングオーバーヘッドを削減することで、パフォーマンスとリソース使用量のバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 アプリケーション変更なしに、コルーチンベースのソフトウェアプリフェッチをフルデータベースエンジンレベルに効果的に適用できるか？
• RQ2 コルーチンによるトランザクション間バッチ処理を導入することで、トランザクション内バッチ処理や点対点ソリューションと比較して、エンドツーエンドのパフォーマンス向上はどの程度達成できるか？
• RQ3 プリフェッチの恩恵を受けないワークロードにおけるコルーチンからトランザクションへのバッチ処理のパフォーマンスインパクトは何か？
• RQ4 2段階のコルーチン設計は、高並列環境におけるパフォーマンス、メモリオーバーヘッド、スイッチングコストのバランスをどのようにとるか？
• RQ5 現代のマルチコアサーバー上の実世界のデータベースワークロードにおいて、コルーチンベースのプリフェッチはどの程度データスタールを隠ぺいできるか？

主な発見

• CoroBaseは、コルーチンを用いたトランザクション間バッチ処理により、効果的にデータスタールを隠ぺいすることで、読み取り中心のワークロードで最大2倍のスループット向上を達成した。
• コルーチンからトランザクションへのモデルにより、既存のアプリケーションインタフェースやトランザクションAPIの変更なしに、透明なパフォーマンス向上が実現された。
• プリフェッチの恩恵を受けないワークロードでは、CoroBaseは高度に最適化されたベースラインと同等の性能を維持しており、顕著なパフォーマンス低下は見られなかった。
• 2段階のコルーチン設計により、メモリ使用量とスイッチングオーバーヘッドが削減され、単一レベルのコルーチンモデルよりも優れたパフォーマンスを達成した。
• トランザクション間バッチ処理は、特に短時間または単一レコードのトランザクションにおいて、トランザクション内バッチ処理と比較してプリフェッチの機会を著しく増加させた。
• C++20のコルーチンの使用により、ソフトウェアプリフェッチの実装が簡素化され、同時に低スイッチングコストを維持でき、生産環境向けデータベースエンジンにとって実用的であることが示された。