[论文解读] A Cost-based Storage Format Selector for Materialization in Big Data Frameworks

Rana Faisal Munir, Alberto Abelló+3 more|ArXiv.org|Jun 11, 2018

Cloud Computing and Resource Management参考文献 22被引用 3

一句话总结

本文提出了一种基于成本的存储格式选择器，可动态选择最适合物化结果的最优数据布局——水平、垂直或混合布局，适用于大数据工作流。通过分析访问模式，并在HDFS上基于SequenceFile、Avro和Parquet实例化通用成本模型，该方法相比固定格式解决方案平均性能提升达25%。

ABSTRACT

Modern big data frameworks (such as Hadoop and Spark) allow multiple users to do large-scale analysis simultaneously. Typically, users deploy Data-Intensive Workflows (DIWs) for their analytical tasks. These DIWs of different users share many common parts (i.e, 50-80%), which can be materialized to reuse them in future executions. The materialization improves the overall processing time of DIWs and also saves computational resources. Current solutions for materialization store data on Distributed File Systems (DFS) by using a fixed data format. However, a fixed choice might not be the optimal one for every situation. For example, it is well-known that different data fragmentation strategies (i.e., horizontal, vertical or hybrid) behave better or worse according to the access patterns of the subsequent operations. In this paper, we present a cost-based approach which helps deciding the most appropriate storage format in every situation. A generic cost-based storage format selector framework considering the three fragmentation strategies is presented. Then, we use our framework to instantiate cost models for specific Hadoop data formats (namely SequenceFile, Avro and Parquet), and test it with realistic use cases. Our solution gives on average 33% speedup over SequenceFile, 11% speedup over Avro, 32% speedup over Parquet, and overall, it provides upto 25% performance gain.

研究动机与目标

• 解决大数据框架中固定存储格式因布局不匹配而导致性能下降的局限性。
• 通过基于后续查询模式选择最优分片策略（水平、垂直、混合），减少物化结果的加载时间。
• 设计一种通用且可扩展的成本模型，用于Hadoop环境中不同存储格式的I/O操作。
• 在真实世界决策支持基准上评估该框架，证明其在静态格式之上的一致性能优势。

提出的方法

• 开发一种通用的I/O成本模型，用于估算水平、垂直和混合数据分片策略的读写成本。
• 将成本模型实例化于三种Hadoop原生格式：SequenceFile、Avro和Parquet，使用查询工作负载中的统计元数据。
• 实现一种混合选择器框架，初始阶段使用基于规则的启发式方法，待统计信息收集完成后转为基于成本的选择。
• 采用两阶段方法：第一阶段基于规则进行布局选择并收集元数据，第二阶段由成本模型驱动进行格式选择。
• 使用真实世界DSS基准（TPC-H和TPC-DS）评估不同工作负载下的性能表现。
• 应用从实际I/O测量和查询访问模式中提取的成本模型参数，以指导格式选择。

实验结果

研究问题

• RQ1 如何通过基于成本的方法，根据最优存储格式选择提升大数据工作流中物化结果的性能？
• RQ2 在HDFS中，影响水平、垂直和混合数据布局I/O性能的关键成本因素是什么？
• RQ3 在真实世界分析工作负载中，动态格式选择在多大程度上优于固定格式存储？
• RQ4 成本模型的准确性和性能在不同数据格式（SequenceFile、Avro、Parquet）和工作负载之间如何变化？
• RQ5 基于规则与基于成本的混合策略能否有效平衡冷启动开销与长期性能收益？

主要发现

• 所提出的系统在物化结果加载方面，相比SequenceFile平均提速33%，相比Avro提速11%，相比Parquet提速32%。
• 总体而言，该框架相比任何单一固定存储格式，平均性能提升高达25%。
• 成本模型能够根据访问模式有效识别最优布局，显著降低数据密集型工作流中的I/O开销。
• 从基于规则的选择过渡到基于成本的选择后，经过初始元数据收集，格式选择的准确性显著提高。
• 该框架在包括TPC-H和TPC-DS基准在内的多样化分析工作负载中，均表现出一致的性能优势。
• 即使在静态格式经过手动调优以适配特定工作负载的情况下，动态布局选择仍表现更优。