[논문 리뷰] Big Data Technology Literature Review

Michael Bar-Sinai|arXiv (Cornell University)|2015. 06. 30.

Cloud Computing and Resource Management인용 수 4

한 줄 요약

이 문헌 고찰은 분산 저장 및 처리 시스템인 Hadoop, NoSQL 데이터베이스, 스트림 처리 프레임워크 등을 중심으로 한 대용량 데이터 기술에 대한 종합적인 조사를 제공한다. 주요 알고리즘과 아키텍처를 개론하고 오픈소스 구현체와의 연결을 제시하며, 확장 가능한 데이터 관리 솔루션을 탐색하는 연구자들에게 기초 자료로 기능한다.

ABSTRACT

A short overview of various algorithms and technologies that are helpful for big data storage and manipulation. Includes pointers to papers for further reading, and, where applicable, pointers to open source projects implementing a described storage type.

연구 동기 및 목표

• 분산 저장 및 처리를 위한 신규 대용량 데이터 기술에 대한 체계적인 개요 제공
• 대용량 데이터 워크로드에 관련된 핵심 알고리즘과 시스템 아키텍처를 식별하고 분류하기
• 연구자들이 향후 연구를 위해 기초 논문과 오픈소스 구현체로의 길잡이 제공하기
• 기술 매핑을 통한 이론적 대용량 데이터 개념과 실질적 구현 간 격차 해소하기
• evolving 대용량 데이터 생태계에 진입하고자 하는 연구자들에게 참고 자료로 기능하기

제안 방법

• 분산 컴퓨팅 및 데이터베이스 시스템 분야의 학술 문헌과 기술 설계에 대한 체계적 검토
• 대용량 데이터 기술을 저장, 처리, 스트림 처리 패러다임으로 분류하기
• 각 기술이 기반으로 하는 알고리즘과 아키텍처 원리에 대한 매핑 수행하기
• 각 검토된 기술에 대해 시초 논문과 오픈소스 프로젝트 참조 포함하기
• 11개의 그림을 활용한 시각적 다이어그램을 통해 대용량 데이터 파이프라인 내 시스템 구성 요소와 데이터 흐름 설명하기
• 확장성과 장애 내성에 중점을 두고 Hadoop, HBase, Cassandra, Spark와 같은 실사용 가능한 시스템에 집중하기

실험 결과

연구 질문

• RQ1 현대 대용량 데이터 저장 및 처리 시스템의 근본적인 아키텍처 패턴은 무엇인가?
• RQ2 대용량 데이터 워크로드에서 기존 관계형 데이터베이스와 비교해 NoSQL 데이터베이스의 설계 및 성능는 어떻게 다를까?
• RQ3 실시간 데이터 분석을 가능하게 하는 스트림 처리 프레임워크의 핵심 특성은 무엇인가?
• RQ4 대용량 데이터 기술 분야에서 최신 기술 수준을 가장 잘 대변하는 오픈소스 구현체는 무엇인가?
• RQ5 MapReduce와 Spark와 같은 분산 컴퓨팅 모델은 단일 시스템에 비해 확장성은 어떻게 향상시키는가?

주요 결과

• Hadoop MapReduce는 장애 내성과 클러스터 간 확장 가능한 데이터 처리를 가능하게 하여 배치 처리의 기초 모델로 남아 있다.
• Cassandra와 HBase와 같은 NoSQL 데이터베이스는 고가용성과 분할 내성 보장을 제공하여 대규모 쓰기 중심 워크로드에 적합하다.
• Storm과 Spark Streaming과 같은 스트림 처리 프레임워크는 높은 처리량과 낮은 지연 시간을 통해 실시간 데이터 처리를 가능하게 한다.
• Apache Spark와 같은 시스템에서 메모리 기반 계산의 통합은 디스크 기반 MapReduce 대비 성능을 크게 향상시킨다.
• Hadoop, Cassandra, Spark와 같은 오픈소스 구현체는 널리 채택되고 있으며 지속적으로 유지 보수되어 현대 대용량 데이터 플랫폼의 기반을 형성하고 있다.
• 문헌 고찰은 배치 처리와 스트림 처리를 융합한 하이브리드 아키텍처로의 명확한 추세를 식별하며, 종합적인 데이터 파이프라인 지원을 가능하게 한다.