[論文レビュー] Integrating R and Hadoop for Big Data Analysis

Bogdan Oancea, Raluca Mariana Drăgoescu|arXiv (Cornell University)|Jul 18, 2014

Data Mining Algorithms and Applications参考文献 2被引用数 14

ひとこと要約

本論文では、Rの統計的・可視化機能とHadoopのスケーラブルなビッグデータ処理能力を統合する3つの手法—R with Streaming、RHipe、RHadoop—を提案および評価する。実験の結果、RHadoopが最もスムーズな統合を実現し、Hadoopクラスタ上で効率的な分散計算を可能にするとともに、Rの分析的強みを保持していることが示された。

ABSTRACT

Analyzing and working with big data could be very diffi cult using classical means like relational database management systems or desktop software packages for statistics and visualization. Instead, big data requires large clusters with hundreds or even thousands of computing nodes. Offi cial statistics is increasingly considering big data for deriving new statistics because big data sources could produce more relevant and timely statistics than traditional sources. One of the software tools successfully and wide spread used for storage and processing of big data sets on clusters of commodity hardware is Hadoop. Hadoop framework contains libraries, a distributed fi le-system (HDFS), a resource-management platform and implements a version of the MapReduce programming model for large scale data processing. In this paper we investigate the possibilities of integrating Hadoop with R which is a popular software used for statistical computing and data visualization. We present three ways of integrating them: R with Streaming, Rhipe and RHadoop and we emphasize the advantages and disadvantages of each solution.

研究の動機と目的

• 従来の統計ソフトウェアやリレーショナルデータベースの能力を超える大規模データセットの分析という課題に対処すること。
• 統計分析の分野で世界的にリーディングカンパニーであるRを、分散処理フレームワークであるHadoopと統合することで、スケーラブルな統計計算を可能にすること。
• Rの分析的パワーとHadoopの分散ストレージおよび計算能力を組み合わせるための複数の統合手法を評価し、最も効果的な方法を特定すること。
• パフォーマンス、使いやすさ、機能性に基づいて、データサイエンティストや研究者が最適なR-Hadoop統合手法を選択するためのガイダンスを提供すること。

提案手法

• コンmodityハードウェアのクラスタ上でデータ処理タスクを分散するため、HadoopのMapReduceプログラミングモデルを活用する。
• R with Streamingでは、RスクリプトをHadoopジョブにおけるマッパーおよびレデューサー関数として扱い、標準入出力ストリームを通じてデータの流れを制御する。
• RHipe（R Hadoop Integrated Programming Environment）を用いて、Hadoopノード上でRコードを直接実行し、JVM内実行を可能にすることで、ストリーミングより高いパフォーマンスを実現する。
• RHadoop—包括的なRパッケージエコシステム—を用いて、HDFSおよびHadoopのYARNリソースマネージャーに直接インターフェースを張り、ネイティブR関数でビッグデータを処理可能にする。
• 開発の複雑さ、実行速度、複雑な統計処理のサポートの観点から、3つの手法をベンチマークし比較する。
• 大規模データセット上で分析の正確性を保ちながら、分散環境内でもRの豊富な統計的および可視化ライブラリを活用する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてRをHadoopに効果的に統合し、ビッグデータ上でスケーラブルな統計分析を可能にするか？
• RQ2 分散データ処理において、R with Streaming、RHipe、RHadoopの間で生じるパフォーマンスのトレードオフは何か？
• RQ3 どの統合手法が、Hadoopクラスタ上で効率的に実行しつつも、Rの分析的能力を最もよく保持できるか？
• RQ4 3つの統合手法間で、開発の複雑さと実装の容易さはどのように異なるか？
• RQ5 Rの統計的および可視化関数は、分散処理環境におけるHadoopでどの程度効率的に実行可能か？

主な発見

• RHadoopは、コード変更を最小限に抑えつつ、Hadoopクラスタ上でR関数を直接使用できる最もスムーズで効率的な統合を提供する。
• R with Streamingは、シンプルでポータブルなアプローチを提供するが、プロセス起動とI/Oシリアル化のオーバーヘッドによりパフォーマンスに影響を及ぼす。
• RHipeは、HadoopのJVM内でRコードを実行することで、ストリーミングよりI/O遅延を低減し、メモリ管理を改善し、パフォーマンスを向上させる。
• RHadoopはHDFSおよびYARNとの完全統合をサポートしており、Rからネイティブにデータにアクセスし、ジョブを送信可能となるため、使いやすさとスケーラビリティが向上する。
• 統合手法の選択は、開発時間、実行効率、複雑な統計ワークロードのサポートに顕著な影響を与える。
• 3つの手法すべてがビッグデータ上の統計分析を可能にするが、RHadoopはその堅牢性と機能性のおかげで、プロダクションスケールの分析に最も適している。