[논문 리뷰] Building and Installing a Hadoop/MapReduce Cluster from Commodity Components

Jochen L. Leidner, Gary Berosik|ArXiv.org|2009. 11. 28.

Data Mining Algorithms and Applications인용 수 3

한 줄 요약

이 논문은 표준 PC와 오픈소스 소프트웨어(우분투 리눅스, 애폐치 하둡)를 사용하여 하둡/맵리듀스 클러스터를 구축하고 배포하는 실용적이고 저비용의 가이드를 제시한다. 이는 단계별 구성, 네트워킹 및 클러스터 설정을 상세히 기술하며, 스케일러블한 대용량 데이터 처리가 저렴한 오프더셰프 구성요소와 무료 소프트웨어를 통해 가능하다는 것을 입증한다.

ABSTRACT

This tutorial presents a recipe for the construction of a compute cluster for processing large volumes of data, using cheap, easily available personal computer hardware (Intel/AMD based PCs) and freely available open source software (Ubuntu Linux, Apache Hadoop).

연구 동기 및 목표

• 연구자와 실무자가 널리 확보 가능한 하드웨어와 무료 소프트웨어를 사용하여 비용 효율적이고 확장 가능한 데이터 처리 클러스터를 구축할 수 있도록 하는 것.
• 대용량 데이터 처리의 높은 인프라 비용 문제를 해결하기 위해, 상용 클러스터를 대체할 수 있는 일반 소비자용 PC가 충분히 기능할 수 있음을 보여주는 것.
• 표준 리눅스 시스템에서 기능적인 하둡/맵리듀스 환경을 배포하기 위한 재현 가능하고 문서화된 절차를 제공하는 것.
• 대규모 분산 데이터 처리를 배우고 실험하는 데 들어가는 진입 장벽을 낮추는 것.
• 실제 데이터 워크로드에 대해 오픈소스 하둡을 저비용 하드웨어에서 사용할 수 있는지의 타당성을 검증하는 것.

제안 방법

• 비용 효율성과 가용성을 고려해 표준 x86 기반 개인용 컴퓨터(인텔/AMD)를 클러스터 노드로 선택한다.
• 안정성, 보안성, 광범위한 하드웨어 지원을 확보하기 위해 우분투 리눅스를 운영 체제로 배포한다.
• 맵리듀스 기반 데이터 처리를 가능하게 하는 분산 컴퓨팅 프레임워크로 아파치 하둡을 설치한다.
• 노드 간의 안전하고 암호 없는 통신을 가능하게 하기 위해 네트워크 설정과 SSH 키 기반 인증을 구성한다.
• 클러스터 아키텍처와 데이터 복제를 정의하기 위해 하둡 설정 파일(예: core-site.xml, mapred-site.xml, hdfs-site.xml)을 설정한다.
• 하adoop의 표준 배포 모델을 따르며, 단일 이름노드와 다수의 데이터노드로 구성된 마스터-슬레이브 아키텍처를 구현한다.

실험 결과

연구 질문

• RQ1 일반 소비자용, 오프더셰프 하드웨어만을 사용하여 고성능이고 확장 가능한 하둡 클러스터를 효과적으로 구축할 수 있는가?
• RQ2 표준 리눅스 시스템에서 기능적인 하둡/맵리듀스 클러스터를 배포하기 위해 필요한 핵심 설정 단계는 무엇인가?
• RQ3 오픈소스 소프트웨어 스택 구성 요소를 어떻게 통합하여 저비용 하드웨어에서 신뢰성과 성능을 확보할 수 있는가?
• RQ4 클러스터 노드 간의 안전하고 자동화된 통신을 설정하는 데 발생하는 실질적 과제와 해결 방법은 무엇인가?
• RQ5 일반 소비자용 구성 요소로 조립한 하둡 클러스터가 실세계의 데이터 처리 워크로드를 어느 정도 처리할 수 있는가?

주요 결과

• 표준 PC와 오픈소스 소프트웨어만을 사용하여 완전히 기능하는 하둡/맵리듀스 클러스터를 성공적으로 배포할 수 있으며, 이로 인해 인프라 비용이 크게 감소한다.
• 하둡의 내장된 복제 기능과 마스터-슬레이브 아키텍처 덕분에 신뢰성 있는 데이터 처리와 장애 내성 기능을 확보할 수 있다.
• SSH 키 기반 인증을 통해 수동 조작 없이도 안전하고 자동화된 노드 간 통신을 가능하게 한다.
• 설정 과정은 재현 가능하며 상세히 문서화되어 있어 다른 이들이 최소한의 노력으로 동일한 설정을 재현할 수 있다.
• 클러스터는 배치 데이터 처리 작업에서 안정적인 성능을 보이며, 저비용 하드웨어에서 대용량 데이터 워크로드를 처리할 수 있음을 검증한다.
• 이 튜토리얼은 기업 수준의 데이터 처리가 고비용 전용 시스템 없이도 학술 및 소규모 환경에서도 접근 가능하다는 것을 입증한다.