[논문 리뷰] Past, Present and Future of Hadoop: A Survey

Ameneh Zarei, Shahla Safari외 2명|arXiv (Cornell University)|2022. 02. 27.

Cloud Computing and Resource Management인용 수 6

한 줄 요약

이 종합 검토는 Hadoop의 탄생부터 현재의 응용 및 미래 전망에 이르기까지의 발전을 분석하며, 분산 스토리지용 HDFS와 병렬 데이터 처리용 MapReduce와 같은 핵심 구성요소에 초점을 맞춘다. Hadoop의 확장성, 장애 내성, 그리고 일반 장비의 사용을 강조하며, 다양한 워크로드와 현대화된 아키텍처에서 효율적인 대용량 데이터 분석을 가능하게 하는 데서 그 역할을 입증한다.

ABSTRACT

In this paper, a technology for massive data storage and computing named Hadoop is surveyed. Hadoop consists of heterogeneous computing devices like regular PCs abstracting away the details of parallel processing and developers can just concentrate on their computational problem. A Hadoop cluster is made of two parts: HDFs and Mapreduce. Hadoop cluster uses HDFS for data management. HDFS provides storage for input and output data in MapReduce jobs and is designed with abilities like high-fault tolerance, high-distribution capacity, and high throughput. It is also suitable for storing Terabyte data on clusters and it runs on flexible hardware like commodity devices.

연구 동기 및 목표

• Hadoop의 아키텍처적 진화와 핵심 기술에 대한 종합적인 개요 제공.
• 일반 장비를 사용한 확장성 있고 장애 내성 있는 대용량 데이터 처리를 가능하게 하는 Hadoop의 역할 분석.
• 현대적인 데이터 처리 파이프라인과 클라우드 환경에서 Hadoop의 현재 상태 검토.
• 변화하는 대용량 데이터 워크로드와 기술 환경을 배경으로 Hadoop의 신규 추세와 미래 방향 탐색.

제안 방법

• Hadoop의 핵심 구성요소인 Hadoop 분산 파일 시스템(HDFS)과 MapReduce에 대한 종합적 분석.
• 장애 내성, 고처리량, 테라바이트 수준의 데이터 처리를 지원하는 Hadoop의 설계 원칙 검토.
• 일반 장비에 구축된 Hadoop의 배포 방식과 저수준 병렬 처리 세부 사항에 대한 추상화 검토.
• Hadoop의 확장성 및 현대의 데이터 처리 프레임워크와 클라우드 플랫폼과의 통합 분석.
• 분산 컴퓨팅 환경에서 Hadoop의 성능 특성과 신뢰성 평가.
• 학술 및 산업 분야의 발전을 바탕으로 Hadoop의 도입 추세, 향상 사항, 미래 연구 방향의 통합 분석.

실험 결과

연구 질문

• RQ1 Hadoop는 초기 출시 이래 아키텍처와 구성요소 설계 측면에서 어떻게 진화해왔는가?
• RQ2 Hadoop가 장애 내성적이고 고처리량 데이터 처리를 가능하게 하는 데 핵심이 되는 기술적 특징은 무엇인가?
• RQ3 Hadoop는 일반 장비를 어떻게 활용하여 확장 가능한 스토리지와 계산을 제공하는가?
• RQ4 현대의 데이터 처리 워크로드에서 Hadoop의 현재 도전 과제와 한계는 무엇인가?
• RQ5 앞으로의 Hadoop 기반 시스템을 이끄는 신규 추세와 향상 사항은 무엇인가?

주요 결과

• Hadoop의 HDFS는 클러스터를 통해 대규모 데이터를 저장하고 관리하는 데 있어 고장 내성과 고처리량을 제공한다.
• MapReduce는 저수준 병렬 처리 세부 사항을 추상화함으로써 개발자가 계산 논리에만 집중할 수 있도록 한다.
• Hadoop 클러스터는 일반 장비를 기반으로 하여 테라바이트 수준의 데이터 워크로드에 비용 효율적이고 확장 가능한 솔루션을 제공한다.
• 스토리지(HDFS)와 계산(MapReduce)의 분리로 인해 융통성 있고 효율적인 데이터 처리 파이프라인이 가능해진다.
• 확장성과 클라우드 및 스트림 처리 프레임워크와의 통합 덕분에 Hadoop는 현대의 데이터 생태계에서 여전히 관련성이 있다.
• 향후 Hadoop 개발은 성능 향상, 실시간 처리 지원, 그리고 AI/ML 워크로드와의 더욱 타이트한 통합에 초점이 맞출 것으로 기대된다.