[论文解读] A Survey on Sampling and Profiling over Big Data (Technical Report)

Zhicheng Liu, Aoqian Zhang|arXiv (Cornell University)|May 8, 2020

Data Quality and Management参考文献 120被引用 5

一句话总结

本综述研究了在大数据环境中加速数据剖析的采样技术，表明代表性采样可产生与全量数据分析相当的结果，同时显著降低计算成本。该研究评估了在关系型、时序和图数据剖析任务中应用采样的效果，表明采样所得的近似结果既高效又准确，凸显采样在可扩展大数据处理中的关键作用。

ABSTRACT

Due to the development of internet technology and computer science, data is exploding at an exponential rate. Big data brings us new opportunities and challenges. On the one hand, we can analyze and mine big data to discover hidden information and get more potential value. On the other hand, the 5V characteristic of big data, especially Volume which means large amount of data, brings challenges to storage and processing. For some traditional data mining algorithms, machine learning algorithms and data profiling tasks, it is very difficult to handle such a large amount of data. The large amount of data is highly demanding hardware resources and time consuming. Sampling methods can effectively reduce the amount of data and help speed up data processing. Hence, sampling technology has been widely studied and used in big data context, e.g., methods for determining sample size, combining sampling with big data processing frameworks. Data profiling is the activity that finds metadata of data set and has many use cases, e.g., performing data profiling tasks on relational data, graph data, and time series data for anomaly detection and data repair. However, data profiling is computationally expensive, especially for large data sets. Therefore, this paper focuses on researching sampling and profiling in big data context and investigates the application of sampling in different categories of data profiling tasks. From the experimental results of these studies, the results got from the sampled data are close to or even exceed the results of the full amount of data. Therefore, sampling technology plays an important role in the era of big data, and we also have reason to believe that sampling technology will become an indispensable step in big data processing in the future.

研究动机与目标

• 解决由于大数据的5V特性（尤其是数据量Volume）导致的剖析大规模数据集的计算不可行性问题。
• 研究采样如何在保持准确性的同时减小数据规模，以应用于数据剖析任务。
• 考察采样在不同类型数据中的应用，包括关系型、时序和图数据，这些数据的剖析计算成本较高。
• 识别现有研究中的空白，特别是时序和图数据缺乏基于采样的剖析研究，并提出未来研究方向。
• 确立采样作为大数据处理管道中关键的预处理步骤，以在不牺牲结果质量的前提下提升效率。

提出的方法

• 调查并分类适用于大数据的现有采样方法，包括块级采样和基于随机游走的技术。
• 分析采样与Hadoop、Spark、Storm和Flink等大数据框架的集成，以实现可扩展处理。
• 评估不同数据剖析任务中的采样策略：单列剖析、多列剖析以及依赖发现。
• 通过聚焦速度分布和分位数的近似计算，评估采样在时序数据中的性能。
• 研究图采样技术（如“森林火灾”方法和随机游走）在保留结构特性方面的能力，以支持剖析任务。
• 提出处理异构数据的采样策略，尤其针对依赖发现（如匹配依赖、函数依赖），重点降低成对比较的开销。

实验结果

研究问题

• RQ1 如何在不显著影响结果准确性的情况下，利用采样降低大数据中数据剖析的计算成本？
• RQ2 在数据剖析背景下，针对关系型、时序和图数据，最有效的采样技术是什么？
• RQ3 采样偏差如何影响剖析结果的可靠性，以及如何最小化这些偏差？
• RQ4 采样在哪些方面可以集成到大数据处理框架中以提升可扩展性？
• RQ5 在涉及异构数据中复杂依赖关系的剖析任务中，应用采样的主要挑战是什么？

主要发现

• 采样技术产生的结果与全量数据结果非常接近，甚至在某些方面（如速度和效率）更优。
• 对于时序数据，诸如速度的概率分布等近似结果已足够用于异常检测，且可通过采样高效计算。
• 使用随机游走和“森林火灾”方法的图采样，仅需原始图大小的15%即可保留其结构特性。
• 在依赖发现（如匹配依赖）中，成对比较计算开销巨大；采用更高采样率可提高捕获相关数据对的可能性。
• 将采样与Spark、Hadoop等大数据框架集成，可实现对大规模数据集的可扩展且高效的剖析。
• 尽管前景广阔，但目前针对图数据和时序数据的基于采样的剖析研究仍十分有限，表明未来研究存在重大机遇。