[論文レビュー] Greening Big Data Networks: The Impact of Veracity

Ali M. Al‐Salim, Taisir E. H. El-Gorashi+2 more|arXiv (Cornell University)|Jan 1, 2018

Cloud Computing and Resource Management参考文献 24被引用数 1

ひとこと要約

本稿では、中央データセンターへの経路に沿って中間処理ノード（PN）で段階的にデータを処理・クリーニングすることで、エネルギー効率を向上させるとともにバックアップストレージを最適化するグリーンビッグデータネットワークアーキテクチャを提案する。データ真正性を考慮したMILPモデルを適用することで、従来の非段階的処理手法と比較して、ネットワークの電力消費を最大52％まで削減できる。特に、ストレージおよび処理制約が最適な条件下で顕著である。

ABSTRACT

The continuous increase in big data applications, in number and types, creates new challenges that should be tackled by the green ICT community. Big data is mainly characterized by 4 Vs volume, variety, velocity, and veracity. Each V poses a number of challenges that have implications on the energy efficiency of the underlying networks carrying the big data. Addressing the veracity of the data is a more serious challenge to data scientists, since they need to distinguish between the meaningful data and the dirty data. In this article, we investigate the impact of big data veracity on greening IP by developing a Mixed Integer Linear Programming, MILP, model that encapsulates the distinctive features of veracity. In our analyses, the big data network was greened by cleansing the raw big data before processing and then progressively processing the cleansed big data at strategic locations, dubbed processing nodes, PNs. The PNs are built into the network along the path from the sources to the centralized datacenters. At each PN, the cleansed data was processed and smaller volume of useful information was extracted progressively, thereby, reducing the network power consumption. Furthermore, a backup for the cleansed data was stored in an optimally selected Backup Node, BN. We evaluated the network power saving that can be achieved by a green big data network compared to the classical non-progressive approach. We obtained up to 52 percent network power savings, on average, in the green big data approach compared to the classical approach.

研究の動機と目的

• ネットワークを横断して生の未処理ビッグデータを送信することに起因するエネルギー非効率性を是正すること。
• 特にデータ品質およびクリーニングの観点から、データ真正性がビッグデータシステムにおけるネットワーク電力消費に与える影響を調査すること。
• 戦略的ノードでの段階的データ処理を通じてエネルギー消費を最小限に抑えるグリーンビッグデータネットワークアーキテクチャを設計すること。
• データ整合性および可用性を確保しながら、処理ノード（PN）およびバックアップノード（BN）の配置を最適化してネットワーク電力消費を低減すること。
• さまざまなデータ真正性条件の下で、PNにおけるストレージ容量制限と全体のネットワークエネルギー節約のトレードオフを評価すること。

提案手法

• IP over WDMネットワークにおけるデータ処理、ストレージ、バックアップ配置の最適化を図るための混合整数線形プログラミング（MILP）モデルを構築する。
• データソースから中央データセンターに至る経路に、処理およびストレージ容量に制限のある処理ノード（PN）を導入する。
• 中間PNでデータクリーニングを実施し、汚れたデータを事前にフィルタリングすることで、送信されるデータ量を削減する。
• 信頼性および将来的なアクセスを確保するため、クリーニング済みデータチャンクのコピーを保存する単一のバックアップノード（BN）を選択・最適化する。
• 現実の展開制限を反映させるために、PNのストレージ容量および処理負荷に制約を課す。
• 各ノードにおけるデータ量、伝送、処理に基づいてネットワーク電力消費をモデル化し、従来手法とグリーン手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 データ真正性は、ビッグデータネットワークにおけるネットワーク電力消費にどのように影響するか？
• RQ2 生データを直接データセンターに送信するのではなく、中間PNで段階的にクリーニング済みデータを処理することで、最大どれほどネットワーク電力の節約が達成できるか？
• RQ3 PNにおけるストレージ容量制限は、処理リソースの利用状況および全体のエネルギー節約にどのように影響するか？
• RQ4 クリーニング済みデータにバックアップノードを設けることで、ネットワーク電力消費およびエネルギー効率にどのような影響を与えるか？
• RQ5 β（1PNあたりのデータチャンク数）の選択が、処理負荷、ストレージ使用量、およびネットワーク電力節約のトレードオフに与える影響は何か？

主な発見

• バックアップなしモードでは、グリーンビッグデータ手法が従来手法と比較して平均で最大52％のネットワーク電力節約を達成した。
• バックアップノードを導入した場合、ネットワーク電力節約は最大41％にまで低下した。これは、信頼性とエネルギー効率の間のトレードオフを示している。
• PNのストレージ容量が制限されている場合、節約率はバックアップありで最大40％、バックアップなしで最大51％に低下した。これは、ストレージが十分にある状況（それぞれ45％および58％）と比較した場合の結果である。
• PNにおける処理利用率は、空き容量が存在するにもかかわらず、ストレージ制限により早期にPNを迂回する必要が生じるため、低く（約16 GHz）維持された。
• モデルは、ストレージ制限が局所的なクリーニング済みデータチャンクの処理数を著しく減少させ、結果としてネットワーク伝送および電力消費を増加させることを示した。
• クリーニング済みデータのバックアップノードの最適配置によりネットワーク電力消費が低減したが、ストレージ制限のあるPN環境下ではその恩恵は薄れた。