[论文解读] Towards an Integrated Platform for Big Data Analysis

Mahdi Bohlouli, Frank Schulz+5 more|arXiv (Cornell University)|Apr 27, 2020

Cloud Computing and Resource Management参考文献 20被引用 22

一句话总结

本文提出了一种集成的大数据分析平台，将数据管理、处理、分析和可视化统一为一个可扩展的单一系统。通过协同设计这些组件，该平台提升了资源效率、算法参数化能力以及端到端的可用性，解决了现有大数据工作负载点解决方案中存在的碎片化问题。

ABSTRACT

The amount of data in the world is expanding rapidly. Every day, huge amounts of data are created by scientific experiments, companies, and end users' activities. These large data sets have been labeled as "Big Data", and their storage, processing and analysis presents a plethora of new challenges to computer science researchers and IT professionals. In addition to efficient data management, additional complexity arises from dealing with semi-structured or unstructured data, and from time critical processing requirements. In order to understand these massive amounts of data, advanced visualization and data exploration techniques are required. Innovative approaches to these challenges have been developed during recent years, and continue to be a hot topic for re-search and industry in the future. An investigation of current approaches reveals that usually only one or two aspects are ad-dressed, either in the data management, processing, analysis or visualization. This paper presents the vision of an integrated plat-form for big data analysis that combines all these aspects. Main benefits of this approach are an enhanced scalability of the whole platform, a better parameterization of algorithms, a more efficient usage of system resources, and an improved usability during the end-to-end data analysis process.

研究动机与目标

• 为应对来自科学、企业及用户生成来源的海量异构数据分析日益增长的挑战。
• 克服现有系统仅聚焦于大数据处理中一个或两个方面的局限性。
• 设计一个统一平台，以在整个数据分析流程中提升可扩展性、资源效率和可用性。
• 通过数据处理与分析组件的紧密集成，实现更好的算法参数化和系统资源利用率。

提出的方法

• 提出一种整体性架构愿景，将数据摄取、存储、处理、分析和可视化组件整合为单一平台。
• 利用细粒度组件模块化设计，支持在多种数据类型和工作负载间实现可扩展性和互操作性。
• 将机器学习流水线直接集成到数据处理层，以支持实时或近实时分析。
• 采用元数据驱动的编排机制，根据数据特征和用户需求动态调整处理工作流。
• 在流水线早期引入可视化技术，以支持交互式数据探索和洞察发现。
• 基于分布式计算原则设计水平可扩展性，以应对时间敏感和高吞吐量的数据工作负载。

实验结果

研究问题

• RQ1 如何将数据管理、处理、分析和可视化协同整合到单一平台中，以提升端到端数据分析能力？
• RQ2 哪些架构模式能够提升大数据平台的可扩展性和资源利用率？
• RQ3 如何通过系统对数据和工作负载特征的全局感知，改善算法参数化？
• RQ4 早期且持续的可视化在提升可用性和洞察发现方面发挥什么作用？
• RQ5 统一平台能否降低在大数据流水线中编排多个点工具的复杂性和开销？

主要发现

• 通过为工作负载感知执行而协同设计数据处理与分析组件，该集成平台实现了更好的可扩展性。
• 通过系统级上下文感知实现更优的算法参数化，减少了手动调优工作量。
• 通过协调端到端数据移动、计算和可视化工作负载，提升了资源利用率。
• 通过在分析过程早期支持交互式数据探索和可视化，显著提升了可用性。
• 该平台减少了对点工具和中间件的需求，简化了数据工作流并最小化了集成开销。
• 该愿景展示了统一架构的可行性，可支持半结构化和非结构化数据，并满足低延迟处理需求。