[論文レビュー] Evaluation of Codes with Inherent Double Replication for Hadoop

M. Nikhil Krishnan, N. Prakash+6 more|ePrints@IISc (Indian Institute of Science)|Jun 26, 2014

Advanced Data Storage Technologies参考文献 15被引用数 11

ひとこと要約

本稿では、Hadoopにおける内在的二重レプリケーションを提供する2つの符号化方式—五角形符号とヘプタゴン局所符号—を評価しており、ストレージのオーバーヘッドを低減しながらも、三重レプリケーションに近い信頼性を維持している。ストライプブロックが同じノード上に配置されることによるデータローカリティの課題があるものの、ノードあたりのプロセッサ数を増やすことで、二重レプリケーションに近い性能が得られ、符号に最適化されたタスクスケジューリングにより顕著な改善が可能である。

ABSTRACT

In this paper, we evaluate the efficacy, in a Hadoop setting, of two coding schemes, both possessing an inherent double replication of data. The two coding schemes belong to the class of regenerating and locally regenerating codes respectively, and these two classes are representative of recent advances made in designing codes for the efficient storage of data in a distributed setting. In comparison with triple replication, double replication permits a significant reduction in storage overhead, while delivering good MapReduce performance under moderate work loads. The two coding solutions under evaluation here, add only moderately to the storage overhead of double replication, while simultaneously offering reliability levels similar to that of triple replication. One might expect from the property of inherent data duplication that the performance of these codes in executing a MapReduce job would be comparable to that of double replication. However, a second feature of this class of code comes into play here, namely that under both coding schemes analyzed here, multiple blocks from the same coded stripe are required to be stored on the same node. This concentration of data belonging to a single stripe negatively impacts MapReduce execution times. However, much of this effect can be undone by simply adding a larger number of processors per node. Further improvements are possible if one tailors the Map task scheduler to the codes under consideration. We present both experimental and simulation results that validate these observations.

研究の動機と目的

• Hadoopにおける内在的二重レプリケーションを有する符号化方式を評価し、ストレージのオーバーヘッドを低減しながらも信頼性を維持すること。
• 同じストライプからの複数の符号化ブロックが同じノード上に配置されることによるMapReduceのパフォーマンスとデータローカリティへの影響を評価すること。
• ノードあたりのプロセッサコア数を増やすことで、データローカリティの低下に起因するパフォーマンス劣化をどれほど補うことができるかを調査すること。
• 符号に最適化されたマップタスクスケジューリングが、デフォルトの遅延スケジューリングよりも顕著にパフォーマンスを向上させることを検討すること。
• 三重レプリケーション、二重レプリケーション、および符号化方式の間で、ストレージ効率、信頼性、MapReduceパフォーマンスを比較すること。

提案手法

• 五角形符号は、XORパリティを用いて9つのデータブロックを20個の符号化ブロックに変換し、5台のノードに分散して格納する。各ノードは、5ノードが完全に接続されたグラフにおける関連するエッジに対応する4つのブロックを保持する。
• ヘプタゴン局所符号は、最小限の修復帯域幅で効率的な局所的回復を可能にする、局所的に回復可能な符号であり、分散ストレージに適している。
• 実験は2つのHadoop環境を用いて実施した。1つは25台のデュアルコアノード（2つのマップスロット）を、もう1つは9台のサーバークラスノード（4つのマップスロット）を用いた。それぞれブロックサイズは128MBおよび512MBとした。
• Terasortベンチマークを用いて、三重レプリケーション、二重レプリケーション、および2つの符号化方式の下で、さまざまなワークロード（25%〜100%）におけるMapReduceパフォーマンスを評価した。
• データローカリティ、ジョブ実行時間、ネットワークトラフィックを測定・比較した。当初はHadoopのデフォルトの遅延スケジューラを使用し、将来的な改善の可能性を検討するために、変更済みのピーリングアルゴリズムをシミュレートした。
• シミュレーションと実験を併用することで、さまざまな構成下でのデータローカリティのトレンドとパフォーマンスのトレードオフを検証した。

実験結果

リサーチクエスチョン

• RQ1 内在的二重レプリケーションを有する符号化方式は、二重レプリケーションと同等のストレージ効率を達成しつつ、三重レプリケーションと同等の信頼性を維持できるか？
• RQ2 同じストライプからの複数のブロックが同じノード上に配置されることにより、MapReduceのデータローカリティと実行時間にどのような影響が生じるか？
• RQ3 ノードあたりのプロセッサコア数を増やすことで、符号化Hadoopシステムにおけるデータローカリティの低下に起因するパフォーマンス劣化をどれほど補うことができるか？
• RQ4 符号に最適化されたマップタスクスケジューラーは、符号化環境下でHadoopのデフォルトの遅延スケジューラーよりも顕著にパフォーマンスを向上させることができるか？
• RQ5 中程度のワークロード下で、提案された符号は三重レプリケーションと比較して、ネットワークトラフィックとジョブ実行時間の点でどのように異なるか？

主な発見

• 中程度のワークロード（75%まで）において、五角形符号は特にノードあたり4つのマップスロットを使用した場合、二重レプリケーションと非常に近いMapReduceパフォーマンスを達成した。
• ノードあたり2コアを使用した場合に観察されたパフォーマンス劣化は、主に同じストライプからの符号化ブロックが同じノード上に配置されることに起因するデータローカリティの低下によるものであった。
• 五角形符号およびヘプタゴン局所符号のネットワークトラフィックは、二重レプリケーションを上回っていたが、これは符号化オーバーヘッドによるものではなく、主にデータローカリティの損失に起因していた。
• ノードあたり4コアを使用した場合、五角形符号のジョブ実行時間とデータローカリティは、75%の負荷下でも二重レプリケーションに近づいた。
• シミュレーションにより、実験で観察されたデータローカリティのトレンドが理論的期待と一致しており、モデルの正確性が裏付けられた。
• 本研究では、将来の改善策として、タスクスケジューリングに変更済みピーリングアルゴリズムを実装することで、二重レプリケーションとのパフォーマンスギャップをさらに縮められる可能性があると示唆している。