[論文レビュー] Study on the Data Processing of the IOT Sensor Network Based on Hadoop Cloud Platform and TWLGA Scheduling Algorithm

Guoyu Li, Kang Yang|arXiv (Cornell University)|Dec 1, 2021

E-commerce and Technology Innovations被引用数 4

ひとこと要約

本稿では、IoTセンサーネットワークにおける効率的なビッグデータ処理を実現するため、Hadoopクラウドプラットフォームとタイムおよびワークロード遺伝的アルゴリズム（TWLGA）を統合したものを提案する。ノード間でのタスクスケジューリングを最適化することで、データ処理効率とシステム互換性が向上し、実験により巨大会計IoTデータストリームの処理性能が向上することが示された。

ABSTRACT

The Internet of Things (IOT) sensor network is an effective solution for monitoring environment condition. IOT sensor network generates massive data, and the abilities of massive data storage, processing and query become technical challenges. To solve the problem, a Hadoop cloud platform is proposed. With the help of time and workload genetic algorithm (TWLGA), the data processing platform provides the work of one node to share with others, which not only raises efficiency of one single node, but also provides the compatibility support to reduce the possible risk of software and hardware. In the experiment, a Hadoop cluster platform with TWLGA scheduling algorithm is built, and the performance of the platform is tested. The results show that the Hadoop cloud platform is suitable for big data processing of the IOT sensor network.

研究の動機と目的

• IoTセンサーネットワークから生成される巨大会計データの保存、処理、クエリの課題に対処すること。
• 分散型IoT環境におけるデータ処理の効率性と信頼性を向上させること。
• ワークロードおよび時間に配慮したタスクスケジューリングにより、ハードウェアおよびソフトウェアの障害リスクを低減すること。
• 新規のTWLGAスケジューリングアルゴリズムを備えたHadoopベースのクラウドプラットフォームの設計および評価。

提案手法

• IoTセンサーネットワークからの大規模データを管理するためのHadoopクラウドプラットフォームを実装した。
• クラスターノード間でのタスクスケジューリングを最適化するため、タイムおよびワークロード遺伝的アルゴリズム（TWLGA）を開発した。
• TWLGAは、実行時間とシステムリソースの可用性を考慮して、動的にワークロードをバランスさせる。
• アルゴリズムは選択、交差、変異といった遺伝的演算を用いて、最適なスケジューリングソリューションを進化させる。
• ノード間でのリソース共有を可能にすることで、処理効率と耐障害性が向上する。
• 実際のIoTデータワークロードを用いて、TWLGAスケジューラを搭載したHadoopクラスタをデプロイおよびテストした。

実験結果

リサーチクエスチョン

• RQ1 クラウドベースのプラットフォームは、どのようにしてIoTセンサーネットワークから発生する高容量のデータを効率的に管理できるか？
• RQ2 TWLGAスケジューリングアルゴリズムは、Hadoopクラスタにおいてタスクの分散と処理速度にどの程度向上効果をもたらすか？
• RQ3 TWLGAの統合は、IoTデータ処理システムにおけるハードウェアおよびソフトウェアの障害リスクを低減できるか？
• RQ4 従来のスケジューリング手法と比較して、提案プラットフォームはどのようなパフォーマンス向上を達成するか？

主な発見

• TWLGAスケジューリングを備えたHadoopクラウドプラットフォームは、IoTセンサーネットワークにおけるデータ処理効率を顕著に向上させる。
• TWLGAアルゴリズムは、ノード間でのワークロード分散を最適化することで、タスク完了時間を短縮する。
• ノード間でのリソース共有により、システムの耐障害性が向上し、個々のノードの性能に依存するリスクが低下する。
• プラットフォームは、大規模なIoTデータストリーム処理において優れたスケーラビリティと互換性を示している。
• 実験結果から、プラットフォームがリアルタイムおよび高スルーレートのIoTデータ処理アプリケーションに適していることが確認された。
• 遺伝的アルゴリズムに基づくスケジューリングの統合により、よりバランスの取れた効率的なクラスターリソース利用が実現された。