[논문 리뷰] Study on the Data Processing of the IOT Sensor Network Based on Hadoop Cloud Platform and TWLGA Scheduling Algorithm

Guoyu Li, Kang Yang|arXiv (Cornell University)|2021. 12. 01.

E-commerce and Technology Innovations인용 수 4

한 줄 요약

이 논문은 IoT 센서 네트워크에서 생성되는 대규모 빅데이터를 효율적으로 처리하기 위해 Hadoop 클라우드 플랫폼을 시간 및 워크로드 유전 알고리즘(TWLGA)과 통합한 플랫폼을 제안한다. 노드 간 작업 스케줄링을 최적화함으로써 데이터 처리 효율성과 시스템 호환성을 향상시키며, 실험을 통해 대량의 IoT 생성 데이터 스트림을 처리하는 데서 향상된 성능을 입증한다.

ABSTRACT

The Internet of Things (IOT) sensor network is an effective solution for monitoring environment condition. IOT sensor network generates massive data, and the abilities of massive data storage, processing and query become technical challenges. To solve the problem, a Hadoop cloud platform is proposed. With the help of time and workload genetic algorithm (TWLGA), the data processing platform provides the work of one node to share with others, which not only raises efficiency of one single node, but also provides the compatibility support to reduce the possible risk of software and hardware. In the experiment, a Hadoop cluster platform with TWLGA scheduling algorithm is built, and the performance of the platform is tested. The results show that the Hadoop cloud platform is suitable for big data processing of the IOT sensor network.

연구 동기 및 목표

• IoT 센서 네트워크에서 생성되는 대규모 데이터의 저장, 처리, 쿼리 과제를 해결하기 위해.
• 분산된 IoT 환경에서의 데이터 처리 효율성과 신뢰성 향상하기 위해.
• 워크로드 및 시간 인식 작업 스케줄링을 통해 하드웨어 및 소프트웨어 장애 위험을 줄이기 위해.
• 새로운 TWLGA 스케줄링 알고리즘으로 강화된 Hadoop 기반 클라우드 플랫폼을 설계하고 평가하기 위해.

제안 방법

• IoT 센서 네트워크에서 유래하는 대규모 데이터를 관리하기 위해 Hadoop 클라우드 플랫폼을 구현하였다.
• 클러스터 노드 간 작업 스케줄링을 최적화하기 위해 시간 및 워크로드 유전 알고리즘(TWLGA)을 개발하였다.
• 실행 시간과 시스템 자원 가용성을 고려하여 TWLGA는 동적으로 워크로드를 균형 잡는다.
• 유전 연산(선택, 교차, 변이)을 사용하여 최적의 스케줄링 솔루션을 진화시킨다.
• 노드 간 자원 공유를 통해 처리 효율성과 고장 내성을 향상시킨다.
• 실제 IoT 데이터 워크로드를 사용하여 Hadoop 클러스터에 TWLGA 스케줄러를 배치하고 테스트하였다.

실험 결과

연구 질문

• RQ1 클라우드 기반 플랫폼은 IoT 센서 네트워크에서 생성되는 고용량 데이터를 어떻게 효율적으로 관리할 수 있는가?
• RQ2 TWLGA 스케줄링 알고리즘이 Hadoop 클러스터에서 작업 분배 및 처리 속도에 얼마나 기여하는가?
• RQ3 TWLGA의 통합은 IoT 데이터 처리 시스템에서 하드웨어 및 소프트웨어 장애 위험을 줄이는 데 효과적인가?
• RQ4 기존 스케줄링 방법과 비교해 볼 때 제안된 플랫폼은 어떤 성능 향상을 달성하는가?

주요 결과

• TWLGA 스케줄링을 적용한 Hadoop 클라우드 플랫폼은 IoT 센서 네트워크에서 데이터 처리 효율성을 크게 향상시킨다.
• TWLGA 알고리즘은 노드 간 워크로드 분포를 최적화함으로써 작업 완료 시간을 단축시킨다.
• 노드 간 자원 공유로 시스템의 고장 내성 향상과 개별 노드 성능에 대한 의존도 감소가 이루어진다.
• 플랫폼은 대규모 IoT 데이터 스트림 처리에 있어 뛰어난 확장성과 호환성을 보여준다.
• 실험 결과는 플랫폼이 실시간 및 고처리량 IoT 데이터 처리 응용 분야에 적합함을 확인한다.
• 유전 알고리즘 기반 스케줄링 통합으로 더 균형 잡히고 효율적인 클러스터 활용이 가능해진다.