[論文レビュー] A Time-driven Data Placement Strategy for a Scientific Workflow Combining Edge Computing and Cloud Computing

Bing Lin, Fangning Zhu+5 more|arXiv (Cornell University)|Jan 22, 2019

IoT and Edge/Fog Computing参考文献 35被引用数 11

ひとこと要約

本論文では、エッジとクラウドコンピューティングを統合した科学的ワークフローにおけるデータ送信遅延を最小化するために、自己適応的GA-DPSOアルゴリズムを用いた時間駆動型データ配置戦略を提案する。遺伝的アルゴリズム（GA）の演算子（交叉と変異）を粒子群最適化（PSO）に統合することで、集団の多様性が向上し、早期収束が抑制され、制限されたエッジストレージ容量を有する異種のデータセンター間で、顕著なデータ送信時間の短縮が達成される。

ABSTRACT

Compared to traditional distributed computing environments such as grids, cloud computing provides a more cost-effective way to deploy scientific workflows. Each task of a scientific workflow requires several large datasets that are located in different datacenters from the cloud computing environment, resulting in serious data transmission delays. Edge computing reduces the data transmission delays and supports the fixed storing manner for scientific workflow private datasets, but there is a bottleneck in its storage capacity. It is a challenge to combine the advantages of both edge computing and cloud computing to rationalize the data placement of scientific workflow, and optimize the data transmission time across different datacenters. Traditional data placement strategies maintain load balancing with a given number of datacenters, which results in a large data transmission time. In this study, a self-adaptive discrete particle swarm optimization algorithm with genetic algorithm operators (GA-DPSO) was proposed to optimize the data transmission time when placing data for a scientific workflow. This approach considered the characteristics of data placement combining edge computing and cloud computing. In addition, it considered the impact factors impacting transmission delay, such as the band-width between datacenters, the number of edge datacenters, and the storage capacity of edge datacenters. The crossover operator and mutation operator of the genetic algorithm were adopted to avoid the premature convergence of the traditional particle swarm optimization algorithm, which enhanced the diversity of population evolution and effectively reduced the data transmission time. The experimental results show that the data placement strategy based on GA-DPSO can effectively reduce the data transmission time during workflow execution combining edge computing and cloud computing.

研究の動機と目的

• エッジとクラウドデータセンターをまたぐ科学的ワークフローにおける高いデータ送信遅延の課題に対処すること。
• エッジコンピューティングの低遅延利点とクラウドコンピューティングのスケーラブルなストレージを活用して、データ配置を最適化すること。
• 従来のデータ配置戦略が、負荷バランスと送信時間の最小化を効果的に果たせないという制限を克服すること。
• ハイブリッドエッジクラウド環境におけるネットワークおよびストレージ制約に動的に適応できる自己適応的最適化アルゴリズムを開発すること。

提案手法

• 遺伝的アルゴリズム（GA）の演算子（交叉と変異）を統合した自己適応的離散的粒子群最適化（DPSO）アルゴリズムを、集団の多様性を向上させ、早期収束を回避するために強化する。
• アルゴリズムは、各粒子がエッジおよびクラウドデータセンター間の潜在的なデータ配置構成を表す離散的最適化問題としてデータ配置意思決定をモデル化する。
• 送信遅延は、データセンター間の帯域幅、エッジデータセンターの数、およびエッジストレージ容量制約の関数としてモデル化される。
• 適応度関数は、合計データ送信時間に基づいてデータ配置構成を評価し、エンドツーエンドのワークフロー実行遅延を最小化することを目的とする。
• アルゴリズムは、局所的最良解とグローバル最良解に基づくハイブリッド学習ルールを用いて、繰り返しで粒子の位置と速度を更新する。
• 本手法は、実際のネットワークおよびストレージ制約下で評価され、科学的ワークフロー向けにハイブリッドエッジクラウドインfrastrucutureをシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドエッジクラウド環境におけるデータ配置を最適化することで、科学的ワークフローのデータ送信遅延をどのように最小化できるか？
• RQ2 帯域幅、エッジデータセンターの数、エッジストレージ容量がデータ送信時間に与える影響は何か？
• RQ3 粒子群最適化に遺伝的アルゴリズムの演算子を統合することで、データ配置における収束特性と解の品質が向上するか？
• RQ4 提案されたGA-DPSO戦略は、従来のデータ配置手法と比較して、送信時間と負荷バランスの面でどのように異なるか？
• RQ5 アルゴリズムの自己適応的性質は、ネットワークおよびストレージ状態の動的変化にどの程度適応できるか？

主な発見

• GA-DPSOを用いたデータ配置戦略は、従来の負荷分散アプローチと比較して、顕著にデータ送信時間を短縮する。
• DPSOに交叉と変異演算子を組み込むことで、集団の多様性が向上し、早期収束が防止され、最適化性能が向上する。
• アルゴリズムは、エッジデータセンターのストレージ容量制約を効果的に処理しながら、長距離のクラウド接続を介したデータ転送を最小限に抑える。
• 頻繁にアクセスされるデータセットを処理ノードに近い場所に知的に配置することで、エンドツーエンドのワークフロー実行時間が短縮される。
• 実験結果は、変動するネットワークおよびストレージ条件下でも、提案手法がベースライン手法を上回ることを示している。