[論文レビュー] HRDBMS: Combining the Best of Modern and Traditional Relational Databases

Jason Arnold, Boris Glavic+1 more|arXiv (Cornell University)|Jan 24, 2019

Advanced Database Systems and Queries参考文献 9被引用数 4

ひとこと要約

HRDBMS は、従来の RDBMS のクエリ最適化および ACID 合致性と、Hive や Spark のような Big Data プラットフォームのスケーラビリティを統合するハイブリッド分散リレーショナルデータベースを導入する。SQL ワークロードに特化した目的設計の実行エンジンを用いることで、過剰な中間結果の物性化、統計情報の欠如、硬直的な通信パターンといったパフォーマンスボトルネックを解消し、複雑な分析クエリにおいて優れたパフォーマンスを達成しながら、完全な ACID 性能を維持する。

ABSTRACT

HRDBMS is a novel distributed relational database that uses a hybrid model combining the best of traditional distributed relational databases and Big Data analytics platforms such as Hive. This allows HRDBMS to leverage years worth of research regarding query optimization, while also taking advantage of the scalability of Big Data platforms. The system uses an execution framework that is tailored for relational processing, thus addressing some of the performance challenges of running SQL on top of platforms such as MapReduce and Spark. These include excessive materialization of intermediate results, lack of a global cost-based optimization, unnecessary sorting, lack of index support, no statistics, no support for DML and ACID, and excessive communication caused by the rigid communication patterns enforced by these platforms.

研究の動機と目的

• Spark や MapReduce のような Big Data プラットフォーム上で SQL を実行する際のパフォーマンス制限を解消すること。
• 従来の RDBMS の強力なクエリ最適化および ACID トランザクションサポートを、現代のデータプラットフォームの水平スケーラビリティと統合すること。
• 既存の Big Data SQL エンジンにおける不要なソート、過剰な中間結果の物性化、統計情報の欠如といった非効率を解消すること。
• コストベースの最適化、インデックス、DML 操作を分散環境でサポートするハイブリッド実行フレームワークを設計すること。
• 大規模データワークロード上で効率的でスケーラブルかつ ACID 合致性を満たす SQL プロセッシングを可能にすること。

提案手法

• HRDBMS は、従来の RDBMS クエリ最適化の長所と Big Data プラットフォームの分散スケーラビリティを組み合わせたハイブリッド実行モデルを採用する。
• リレーショナル処理に最適化された目的設計の実行エンジンを用い、MapReduce や Spark の硬直的な通信パターンを回避する。
• 統計情報を保持し、分散ノード全体でインデックスの使用を可能にすることで、グローバルなコストベースの最適化を実現する。
• クエリ計画段階でプッシュダウンおよびプルーニング技術を適用することで、中間結果の物性化を削減する。
• HRDBMS は完全な DML 操作および ACID トランザクションをサポートし、分散環境におけるデータの一貫性を保証する。
• 適応的クエリ実行戦略により、効率的なジョイン処理を実現し、不要なソートを回避する。

実験結果

リサーチクエスチョン

• RQ1 従来の RDBMS クエリ最適化技術を、Big Data プラットフォームのスケーラビリティと効果的に統合する方法は何か？
• RQ2 Big Data インfraストラクチャ上に構築された分散 SQL エンジンにおいて、ACID トランザクションおよび統計情報をサポートするために必要なアーキテクチャ的変更は何か？
• RQ3 MapReduce や Spark と比較して、ハイブリッド実行エンジンは中間結果の物性化および通信オーバーヘッドを低減できるか？
• RQ4 スケーラビリティを損なわずに、分散 SQL システムにおけるコストベースの最適化がクエリパフォーマンスをどの程度向上できるか？
• RQ5 インデックスと統計情報の統合は、Big Data SQL エンジンにおけるパフォーマンスをどの程度改善するか？

主な発見

• HRDBMS は、中間結果の物性化を最小限に抑えることで、複雑な分析クエリにおいて Spark SQL や Hive よりも顕著に低いクエリ実行時間を達成する。
• 保持された統計情報と選択的インデックス使用により、コストベースの最適化が可能となり、パフォーマンスが向上する。
• 硬直的な通信パターンを回避することで、ネットワーク I/O が削減され、大規模データワークロードにおけるスケーラビリティが向上する。
• 完全な DML および ACID サポートの導入により、大多数の Big Data SQL エンジンに欠如している信頼性の高いトランザクション処理が可能になる。
• ハイブリッド実行フレームワークは、複雑なジョインおよび集計処理において、従来のプラットフォームを上回るスループットとレイテンシを実現する。
• プッシュダウン述語および選択的処理のサポートにより、データ移動が削減され、クエリ効率が向上する。