[論文レビュー] LifeRaft: Data-Driven, Batch Processing for the Exploration of Scientific Databases

Xiaodan Wang, Randal Burns+1 more|ArXiv.org|Sep 9, 2009

Advanced Data Storage Technologies参考文献 21被引用数 7

ひとこと要約

LifeRaft は、データ駆動型バッチ処理システムであり、データ共有を最大化し I/O オーバーヘッドを低減するようにクエリを再順序付けすることにより、科学的データベースにおけるクエリスループットを向上させる。ディスクヘッドスケジューリングにインspiredした技術を用いて、バッチ処理と到着順実行を動的にバランスさせることで、SkyQuery 天文学データベース連合において、インタラクティブワークロードをスターブレートさせることなく、スループットを2倍に向上させた。

ABSTRACT

Workloads that comb through vast amounts of data are gaining importance in the sciences. These workloads consist of "needle in a haystack" queries that are long running and data intensive so that query throughput limits performance. To maximize throughput for data-intensive queries, we put forth LifeRaft: a query processing system that batches queries with overlapping data requirements. Rather than scheduling queries in arrival order, LifeRaft executes queries concurrently against an ordering of the data that maximizes data sharing among queries. This decreases I/O and increases cache utility. However, such batch processing can increase query response time by starving interactive workloads. LifeRaft addresses starvation using techniques inspired by head scheduling in disk drives. Depending upon the workload saturation and queuing times, the system adaptively and incrementally trades-off processing queries in arrival order and data-driven batch processing. Evaluating LifeRaft in the SkyQuery federation of astronomy databases reveals a two-fold improvement in query throughput.

研究の動機と目的

• I/O とキャッシュ効率の低さが原因でクエリスループットが制限される、データ集約的科学的ワークロードにおけるパフォーマンスボトルネックを解消すること。
• 重複するデータアクセスパターンを持つクエリをバッチ処理することで、I/O を低減し、キャッシュ利用効率を向上させること。
• バッチ処理環境においてインタラクティブクエリがスターブレートしないように、適応的スケジューリングを用いること。
• ワークロードの飽和度とキューイング遅延に基づいて、到着順処理とデータ駆動型バッチ処理の間で動的にトレードオフを設計すること。
• 実世界の科学的データベース環境、特に天文学データベース連合である SkyQuery で、システムを評価すること。

提案手法

• LifeRaft は、データアクセスパターンに基づいてクエリを再順序付けし、重複するデータ要件を持つクエリをグループ化することで、クエリ間での効率的なデータ共有を可能にする。
• データ駆動型スケジューリング戦略を採用し、データローカリティを優先することで、重複する I/O を低減し、キャッシュ利用効率を向上させる。
• ディスクヘッドスケジューリングにインspiredした適応的スケジューリングメカニズムを採用し、バッチ処理とインタラクティブクエリの低遅延応答を両立させる。
• ワークロードの飽和度とキューイング遅延をモニタリングし、到着順処理とデータ駆動型バッチ処理の間を段階的にシフトする。
• バッチ処理とインタラクティブワークロードのための別々のキューを維持し、リアルタイムのパフォーマンスメトリクスに基づいてトレードオフを動的に調整する。
• 評価は、SkyQuery データベース連合で実施され、実際の科学的ワークロードを用いてスループットと応答時間の改善を測定する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型バッチ処理は、I/O 要求が高いための科学的データベースにおけるクエリスループットを著しく向上させることができるか？
• RQ2 バッチ処理とインタラクティブクエリ処理をどのように組み合わせれば、スターブレートを防げるか？
• RQ3 データアクセスローカリティは、科学的ワークロードにおける I/O 効率とキャッシュ利用効率をどの程度向上させるか？
• RQ4 どのスケジューリング戦略が、インタラクティブクエリの許容可能な応答時間とスループットの向上を最適にバランスさせるか？
• RQ5 ワークロード状態に基づく適応的かつ動的スケジューリングは、実世界の科学的データベースシステムにおけるシステムパフォーマンスにどのように影響するか？

主な発見

• LifeRaft は、SkyQuery データベース連合において、従来の到着順処理と比較してクエリスループットを2倍に向上させた。
• 重複するデータアクセスパターンを持つクエリの再順序付けにより、I/O オーバーヘッドが低減された。
• バッチ実行によるデータローカリティの向上により、キャッシュ利用効率が著しく向上した。
• 適応的スケジューリングメカニズムにより、ワークロード状態に応じて処理戦略を動的に調整することで、インタラクティブクエリのスターブレートが効果的に防止された。
• 応答時間の犠牲を払わずしてパフォーマンス向上が達成されたため、効果的な負荷分散が実現された。
• 評価結果から、データ駆動型バッチ処理が、特に SkyQuery のような連合型科学的データベースにおいて、データ集約的ワークロードに非常に有効であることが確認された。