[論文レビュー] Estudo de Viabilidade de uma Plataforma de Baixo Custo para Data Warehouse

Eduardo Cunha de Almeida|arXiv (Cornell University)|Aug 3, 2011

Big Data and Business Intelligence被引用数 3

ひとこと要約

本論文は、PostgreSQL および GNU/Linux を使用した低コストなデータウェアハウスプラットフォームの実現可能性を、複雑でマルチユーザー対応のワークロードを用いたベンチマークによって評価する。結果として、PostgreSQL は複雑な分析クエリを処理できることを示すが、集計処理やクエリ最適化におけるパフォーマンスボトルネックが、データウェアハウスワークロードにおける改善の余地を示唆している。

ABSTRACT

Often corporations need tools to improve their decision making in a competitive market. In general, these tools are based on data warehouse platforms to mange and analyze large amounts of data. However, several of these corporations do not have enough resources to buy such platforms because of the high cost. This work is dedicated to a feasibility study of a low cost platform to data warehouse. We consider as a low cost platform the use of open source software like the PostgreSQL database system and the GNU/Linux operational system. We verify the feasibility of this platform by executing two benchmarks that simulate a data warehouse workload. The workload reproduces a multi-user environment with the execution of complex queries, which executes: aggregations, nested sub queries, multi joins, in-line views and more. Considering the results we were able to highlight some problems on the PostgreSQL database system, and discuss improvements in the context of data warehouse.

研究の動機と目的

• 小規模および中規模企業における導入コストを削減する目的で、オープンソースソフトウェアを用いた低コストデータウェアハウスプラットフォームの実現可能性を評価すること。
• 複雑なクエリとマルチユーザー環境を含む実際のデータウェアハウスワークロード下での PostgreSQL のパフォーマンスを評価すること。
• データウェアハウスデータベースシステムとしての PostgreSQL を使用する際のパフォーマンス制限およびスケーラビリティの問題を特定すること。
• PostgreSQL のデータウェアハウス環境における適合性を高めるための実行可能な提言を提供すること。
• オープンソースソリューションが商用データウェアハウスプラットフォームに代わるコスト効率の良い代替手段として機能できることを示すこと。

提案手法

• 実際のデータウェアハウスワークロードを模倣するベンチマークスイートを設計および実装し、複雑な SQL 操作を含ませる。
• データベース管理システムとして PostgreSQL を、オペレーティングシステムとして GNU/Linux を使用し、低コストプラットフォームを構築する。
• 複数ユーザー環境下で 2 つのベンチマークテストを実行し、同時に発行される複雑なクエリを模擬する。
• 集計処理、ネストされたサブクエリ、複数のジョイン、インラインビューなどの操作を含め、クエリ実行の負荷をかける。
• クエリ実行時間、リソース使用率、システムのスケーラビリティといったパフォーマンスメトリクスを測定する。
• クエリ実行プランと実行統計を分析し、PostgreSQL におけるパフォーマンスボトルネックを特定する。

実験結果

リサーチクエスチョン

• RQ1 PostgreSQL および GNU/Linux を用いた低コストデータウェアハウスプラットフォームは、複雑な分析クエリを効果的に処理できるか？
• RQ2 データウェアハウス環境で一般的な、同時に発行される複雑なクエリワークロード下で、PostgreSQL はどのように動作するか？
• RQ3 データウェアハウスワークロードで使用する際の PostgreSQL の主なパフォーマンスボトルネックは何か？
• RQ4 機能性およびスケーラビリティの観点から、オープンソースソフトウェアが商用データウェアハウスソリューションにどの程度置き換え可能か？
• RQ5 PostgreSQL のデータウェアハウスワークロードにおけるパフォーマンスを向上させるために、どのような最適化が必要か？

主な発見

• PostgreSQL は、集計処理、サブクエリ、複数のジョインを含む複雑なデータウェアハウスクエリを正常に実行できた。
• 中程度のワークロードではクエリ実行時間が許容範囲内であったが、高並列処理と複雑なネストされたクエリではパフォーマンスが著しく低下した。
• 特定の種類の複雑なクエリ、特に複数のセルフジョインを含むものに関して、PostgreSQL のクエリプランナが非効率な実行プランを生成していた。
• インデックスの使用と統計情報の収集がパフォーマンスに大きく影響した。統計情報が古いか欠落していると、劣悪なクエリプランが生成された。
• 高負荷の並列ワークロード下でリソース競合やメモリ管理の問題が顕在し、スケーラビリティの制限が明らかになった。
• 本研究では、クエリ最適化の強化や、データウェアハウスワークロード向けの物化ビューのより良いサポートといった、特定の改善分野を同定した。