[論文レビュー] Optimizing ETL Dataflow Using Shared Caching and Parallelization Methods

Xiufeng Liu|arXiv (Cornell University)|Sep 5, 2014

Advanced Data Storage Technologies参考文献 14被引用数 3

ひとこと要約

この論文では、共有キャッシュと多粒度並列化（パイプライン処理とマルチスレーディング）を用いてETLデータフローを最適化するフレームワークを提案する。ETLコンポonentをロウ同期型、セミブロック型、ブロック型に分類することで、データフローを分割し、共有キャッシュを適用してメモリ使用量とデータコピーのオーバーヘッドを低減し、標準ETLよりも4.7倍の高速化を達成した。実験ではKettleを上回る性能を示した。

ABSTRACT

Extract-Transform-Load (ETL) handles large amount of data and manages workload through dataflows. ETL dataflows are widely regarded as complex and expensive operations in terms of time and system resources. In order to minimize the time and the resources required by ETL dataflows, this paper presents a framework to optimize dataflows using shared cache and parallelization techniques. The framework classifies the components in an ETL dataflow into different categories based on their data operation properties. The framework then partitions the dataflow based on the classification at different granularities. Furthermore, the framework applies optimization techniques such as cache re-using, pipelining and multi-threading to the already-partitioned dataflows. The proposed techniques reduce system memory footprint and the frequency of copying data between different components, and also take full advantage of the computing power of multi-core processors. The experimental results show that the proposed optimization framework is 4.7 times faster than the ordinary ETL dataflows (without using the proposed optimization techniques), and outperforms the similar tool (Kettle).

研究の動機と目的

• 大規模なETL処理が数時間から数日もかかるデータウェアハウス環境におけるETLデータフローの性能向上。
• コンポーネント間で高コストなデータコピーに依存する伝統的なETLシステムの非効率性の是正。
• BI開発者のワークフローに変更を加えずに利用可能な、透過的かつ再利用可能な最適化フレームワークの開発。
• ETLパイプラインにおける繰り返しのデータコピーに起因するメモリ使用量とCPUオーバーヘッドの低減。
• パイプライン処理とマルチスレーディングを用いて、サブセットレベルおよびコンポーネントレベルの複数粒度での効率的な並列化の実現。

提案手法

• データ処理特性に基づき、ETLコンポーネントを3つのカテゴリに分類：ロウ同期型、セミブロック型、ブロック型。
• コンポーネントのカテゴリと粒度に基づいてデータフローをグループ化するアルゴリズムを設計し、ターゲット最適化を可能にする。
• 複数のコンポーネントが同じメモリ内キャッシュにアクセスできる共有キャッシュ方式を実装し、重複するデータコピーとメモリ使用量を削減。
• 実行ツリー内でのパイプライン処理とコンポーネント間でのマルチスレーディングを適用し、マルチコアプロセッサの能力を最大限に活用。
• パフォーマンスチューニングのための最適な並列化度（パイプライン深さ）を推定するためのコストベースの式とアルゴリズムを開発。
• 最適化手法を変換層に統合し、エンドユーザーおよびBI開発者に対して透過的であることを保証。

実験結果

リサーチクエスチョン

• RQ1 ETLデータフローは、コンポーネントの処理特性に基づいてどのように効果的に分割可能か。これによりターゲット最適化が可能になるか。
• RQ2 共有キャッシュはETLパイプラインにおけるメモリ使用量とデータコピーのオーバーヘッドをどの程度低減できるか。
• RQ3 ETLデータフローにおける最適な並列化度（パイプライン深さ）は何か。また、その効率的な推定方法は何か。
• RQ4 提案されたフレームワークは、標準ETL実行およびKettleなどの既存ツールと比較して、どのようにパフォーマンスが向上するか。
• RQ5 サブセットレベルおよびコンポーネントレベルの多粒度並列化（パイプライン処理とマルチスレーディング）は、ETLワークロードにおけるマルチコアシステムのリソースを効果的に活用できるか。

主な発見

• 提案されたフレームワークは、最適化手法を用いない標準ETLデータフローと比較して4.7倍の高速化を達成した。
• オープンソースETLツールKettleよりも実行時間が短く、実用的な効率性を示した。
• 共有キャッシュは、ETLコンポーネント間のメモリ使用量を顕著に低減し、重複するデータコピーを排除した。
• パイプライン処理とマルチスレーディングを複数粒度で適用することで、マルチコアプロセッサリソースの効果的な活用が可能になった。
• 最適なパイプライン深さを推定するコストベースのアルゴリズムは、パフォーマンスチューニングとスケーラビリティに貢献した。
• 最適化は変換層で行われるため、BI開発者にとって透過的であり、従来のETL設計に変更を加える必要がなかった。