[论文解读] Integrating R and Hadoop for Big Data Analysis

Bogdan Oancea, Raluca Mariana Drăgoescu|arXiv (Cornell University)|Jul 18, 2014

Data Mining Algorithms and Applications参考文献 2被引用 14

一句话总结

本文提出并评估了三种集成方法——R with Streaming、RHipe 和 RHadoop——以结合 R 的统计与可视化能力与 Hadoop 的可扩展大数据处理能力。结果表明，RHadoop 提供了最无缝的集成，使用户能够在 Hadoop 集群上高效地进行分布式计算，同时保留 R 的分析优势。

ABSTRACT

Analyzing and working with big data could be very diffi cult using classical means like relational database management systems or desktop software packages for statistics and visualization. Instead, big data requires large clusters with hundreds or even thousands of computing nodes. Offi cial statistics is increasingly considering big data for deriving new statistics because big data sources could produce more relevant and timely statistics than traditional sources. One of the software tools successfully and wide spread used for storage and processing of big data sets on clusters of commodity hardware is Hadoop. Hadoop framework contains libraries, a distributed fi le-system (HDFS), a resource-management platform and implements a version of the MapReduce programming model for large scale data processing. In this paper we investigate the possibilities of integrating Hadoop with R which is a popular software used for statistical computing and data visualization. We present three ways of integrating them: R with Streaming, Rhipe and RHadoop and we emphasize the advantages and disadvantages of each solution.

研究动机与目标

• 解决传统统计软件和关系型数据库无法处理大规模数据集的挑战。
• 通过将领先的统计分析工具 R 与 Hadoop 的分布式处理框架集成，实现可扩展的统计计算。
• 评估多种集成方法，以确定将 R 的分析能力与 Hadoop 的分布式存储和计算能力相结合的最佳方案。
• 为数据科学家和研究人员提供指导，基于性能、可用性和功能选择最优的 R-Hadoop 集成技术。

提出的方法

• 利用 Hadoop 的 MapReduce 编程模型，将数据处理任务分发到商品化硬件集群上执行。
• 通过将 R 脚本作为 Hadoop 作业中的 mapper 和 reducer 函数，实现 R with Streaming，使数据通过标准输入/输出流流动。
• 使用 RHipe（R Hadoop Integrated Programming Environment）在 Hadoop 节点上直接运行 R 代码，支持 JVM 内执行，相比流式处理性能更优。
• 使用 RHadoop，一个全面的 R 包生态系统，直接与 HDFS 和 Hadoop 的 YARN 资源管理器交互，使原生 R 函数能够处理大数据。
• 在开发复杂度、执行速度和复杂统计操作支持方面，对三种方法进行基准测试与比较。
• 在分布式环境中保持 R 丰富的统计与可视化库，以确保大规模数据集上的分析保真度。

实验结果

研究问题

• RQ1 如何有效将 R 与 Hadoop 集成，以实现在大数据上的可扩展统计分析？
• RQ2 在分布式数据处理中，R with Streaming、RHipe 和 RHadoop 之间的性能权衡是什么？
• RQ3 哪种集成方法最能保留 R 的分析能力，同时实现在 Hadoop 集群上的高效执行？
• RQ4 三种集成方法在开发复杂度和实现便捷性方面有何差异？
• RQ5 在分布式 Hadoop 环境中，R 的统计与可视化功能能在多大程度上实现高效执行？

主要发现

• RHadoop 提供了最无缝且高效的集成，允许在 Hadoop 集群上直接使用 R 函数，且代码修改极少。
• R with Streaming 提供了一种简单、可移植的方法，但因进程创建和 I/O 序列化导致性能开销较大。
• RHipe 通过在 Hadoop JVM 内执行 R 代码，相比流式处理提升了性能，减少了 I/O 延迟并支持更好的内存管理。
• RHadoop 支持与 HDFS 和 YARN 的完整集成，实现从 R 中原生访问数据和提交作业，显著提升了可用性和可扩展性。
• 集成方法的选择显著影响开发时间、执行效率以及对复杂统计工作负载的支持程度。
• 三种方法均能实现在大数据上的统计分析，但 RHadoop 因其稳健性和功能集，成为生产规模分析的最优选择。