[論文レビュー] PushdownDB: Accelerating a DBMS using S3 Computation

Xiangyao Yu, Matt Youill+5 more|arXiv (Cornell University)|Feb 14, 2020

Cloud Computing and Resource Management参考文献 26被引用数 4

ひとこと要約

PushdownDB は、AWS S3 にフィルタ、プロジェクション、集計、ジョイン、グループ化、トップ-K などの選択的演算をプッシュダウンすることで、データベースクエリ処理を高速化し、TPC-H ベンチマーク全体で平均して実行時間を 6.7 倍短縮し、コストを 30% 減少させた。S3 を用いた計算がクラウドネイティブな分析ワークロードを効果的に高速化できることを示している。

ABSTRACT

This paper studies the effectiveness of pushing parts of DBMS analytics queries into the Simple Storage Service (S3) engine of Amazon Web Services (AWS), using a recently released capability called S3 Select. We show that some DBMS primitives (filter, projection, aggregation) can always be cost-effectively moved into S3. Other more complex operations (join, top-K, group-by) require reimplementation to take advantage of S3 Select and are often candidates for pushdown. We demonstrate these capabilities through experimentation using a new DBMS that we developed, PushdownDB. Experimentation with a collection of queries including TPC-H queries shows that PushdownDB is on average 30% cheaper and 6.7X faster than a baseline that does not use S3 Select.

研究の動機と目的

• S3 Select を用いてデータベース演算を AWS S3 にプッシュダウンする方法の実現可能性とパフォーマンス上の利点を評価すること。
• フィルタ、ジョイン、グループ化などの DBMS オペレータのうち、S3 計算によって効果的に高速化可能なものは何かを特定すること。
• 複雑なオペレータをネイティブにサポートする S3 基盤の計算プッシュダウンを実現する新しい DBMS、PushdownDB の設計および実装を行うこと。
• 分散型クラウドアーキテクチャにおける従来の EC2 内での処理と比較して、コストおよびパフォーマンスの向上を定量的に評価すること。
• 現在の S3 Select インターフェースの限界を特定し、将来のデータベースシステムに向けた改善提案を行うこと。

提案手法

• フィルタ、プロジェクション、集計、およびジョイン、グループ化、トップ-K などの複雑なオペレータをプッシュダウンできる新しい DBMS として PushdownDB を実装し、S3 Select を統合した。
• 各オペレータに対してカスタムプッシュダウンロジックを設計し、SQL 操作を S3 Select と互換性のある式にマッピングし、データ転送を最小限に抑えた。
• S3 内での述語プッシュダウンとカラムプリーニングを最適化するために、カラム指向ストレージフォーマットとして Parquet を採用した。
• マイクロベンチマークおよび TPC-H クエリを実行し、ベースラインの EC2 僅での実行モデルと比較してパフォーマンスとコストを評価した。
• AWS の請求および監視ツールを用いて実行時間とコストを測定し、エンドツーエンドのパフォーマンスおよび経済的効率を評価した。
• より複雑なオペレータをサポートし、データベースワークロードにおける使いやすさを向上させるために、S3 Select のアーキテクチャ拡張を提案した。

実験結果

リサーチクエスチョン

• RQ1 S3 Select を用いてどの DBMS オペレータを効果的に S3 にプッシュダウンできるのか。また、そのようなプッシュダウンがコスト効率的である条件は何か。
• RQ2 S3 Select を用いた計算プッシュダウンが、ジョイン、グループ化、トップ-K などの複雑なオペレータのクエリパフォーマンスとコストにどのように影響を与えるか。
• RQ3 分散型クラウドストレージアーキテクチャにおいて、S3 Select がデータ転送をどの程度削減し、実行時間を改善できるか。
• RQ4 分析ワークロードにおいて、EC2 で処理を実行するのと S3 で処理を実行するのとの間で、パフォーマンスとコストのトレードオフはどのようなものか。
• RQ5 現在の S3 Select インターフェースを、スケーラブルで効率的な方法でより複雑なデータベース操作をサポートできるように拡張するにはどうすればよいか。

主な発見

• PushdownDB は、TPC-H クエリの一部において、ベースラインの EC2 僅での実行モデルと比較して平均で 6.7 倍の高速化を達成した。
• データ転送を最小限に抑え、S3 Select の価格モデルを活用したことで、全体のクエリコストを平均で 30% 減少させた。
• フィルタ、プロジェクション、集計といった単純なオペレータは、S3 Select のコストが低く、データ削減効果が高いことから、常にコスト効率的であった。
• ジョイン、グループ化、トップ-K といった複雑なオペレータはカスタム再実装を要したが、S3 にプッシュダウンすることで依然として顕著なパフォーマンスおよびコストの利点を達成した。
• Parquet のカラム指向フォーマットは、S3 内での効率的な述語プッシュダウンとカラムプリーニングを可能にし、パフォーマンスを顕著に向上させた。
• 本研究では、現在の S3 Select インターフェースの限界、例えば複雑なデータ型やオペレータのサポート不足が明らかになった。これにより、将来の拡張のための改善提案がなされた。