[论文解读] LifeRaft: Data-Driven, Batch Processing for the Exploration of Scientific Databases

Xiaodan Wang, Randal Burns+1 more|ArXiv.org|Sep 9, 2009

Advanced Data Storage Technologies参考文献 21被引用 7

一句话总结

LifeRaft 是一种数据驱动的批处理系统，通过重新排序查询以最大化数据共享并减少 I/O 开销，从而提升科学数据库中的查询吞吐量。通过采用受磁头调度启发的技术，自适应地平衡批处理与到达顺序执行，LifeRaft 在 SkyQuery 天文数据库联邦中实现了两倍的吞吐量提升，同时不会导致交互式工作负载被饿死。

ABSTRACT

Workloads that comb through vast amounts of data are gaining importance in the sciences. These workloads consist of "needle in a haystack" queries that are long running and data intensive so that query throughput limits performance. To maximize throughput for data-intensive queries, we put forth LifeRaft: a query processing system that batches queries with overlapping data requirements. Rather than scheduling queries in arrival order, LifeRaft executes queries concurrently against an ordering of the data that maximizes data sharing among queries. This decreases I/O and increases cache utility. However, such batch processing can increase query response time by starving interactive workloads. LifeRaft addresses starvation using techniques inspired by head scheduling in disk drives. Depending upon the workload saturation and queuing times, the system adaptively and incrementally trades-off processing queries in arrival order and data-driven batch processing. Evaluating LifeRaft in the SkyQuery federation of astronomy databases reveals a two-fold improvement in query throughput.

研究动机与目标

• 解决数据密集型科学工作负载中的性能瓶颈，其中查询吞吐量受限于 I/O 和缓存效率。
• 通过将具有重叠数据访问模式的查询进行批处理，减少 I/O 并提高科学数据库中的缓存利用率。
• 通过自适应调度防止在批处理环境中交互式查询被饿死。
• 设计一种系统，能够根据工作负载饱和度和排队延迟，动态权衡到达顺序处理与数据驱动批处理。
• 在真实世界的科学数据库环境中评估该系统——具体为天文学数据库联邦 SkyQuery。

提出的方法

• LifeRaft 根据数据访问模式对查询进行重排序，将具有重叠数据需求的查询分组，从而实现在查询间高效共享数据。
• 它采用数据驱动的调度策略，优先考虑数据局部性，减少冗余 I/O 并提高缓存利用率。
• 该系统采用受磁头调度启发的自适应调度机制，以在批处理与交互式查询的低延迟响应之间取得平衡。
• 通过监控工作负载饱和度和排队延迟，系统逐步在到达顺序处理与数据驱动批处理之间切换。
• 系统为批处理和交互式工作负载维护独立队列，并根据实时性能指标动态调整权衡策略。
• 评估在 SkyQuery 数据库联邦上进行，使用真实科学工作负载测量吞吐量和响应时间的提升。

实验结果

研究问题

• RQ1 数据驱动的批处理能否显著提升高 I/O 需求的科学数据库中的查询吞吐量？
• RQ2 如何将批处理与交互式查询处理相结合，以防止查询被饿死？
• RQ3 数据访问局部性在多大程度上能提升科学工作负载中的 I/O 效率和缓存利用率？
• RQ4 哪种调度策略能最好地在吞吐量提升与交互式查询可接受的响应时间之间取得平衡？
• RQ5 基于工作负载条件的自适应、动态调度在真实世界科学数据库系统中的性能影响如何？

主要发现

• 与传统的到达顺序处理相比，LifeRaft 在 SkyQuery 数据库联邦中实现了两倍的查询吞吐量提升。
• 通过重排序查询以最大化具有重叠数据访问模式的查询之间的数据共享，系统显著减少了 I/O 开销。
• 由于批处理执行带来的数据局部性提升，缓存利用率得到显著改善。
• 自适应调度机制通过根据工作负载条件动态调整处理策略，成功防止了交互式查询的饿死。
• 性能提升未以牺牲交互式工作负载的响应时间为代价，证明了有效的负载均衡。
• 评估结果证实，数据驱动的批处理在数据密集型科学工作负载中极为有效，尤其在 SkyQuery 等联邦科学数据库中。