[논문 리뷰] The Family of MapReduce and Large Scale Data Processing Systems

Sherif Sakr, Anna Liu외 1명|arXiv (Cornell University)|2013. 02. 13.

Cloud Computing and Resource Management참고 문헌 81인용 수 7

한 줄 요약

이 논문은 MapReduce 및 대규모 데이터 처리 시스템의 진화와 생태계를 조사하며, 원래의 MapReduce 모델이 대규모 데이터를 위한 확장성 있고 장애에 강건한 프레임워크 가족을 어떻게 유도했는지 분석한다. 확장성, 선언적 인터페이스, Dremel과 Pregel과 같은 도메인 특화 시스템을 검토한 결과, MapReduce는 여전히 기초적인 역할을 하지만 향후 시스템은 실제 대규모 데이터 워크로드를 위해 표현력, 성능, 사용자 친화성 문제를 해결해야 한다고 결론 내린다.

ABSTRACT

In the last two decades, the continuous increase of computational power has produced an overwhelming flow of data which has called for a paradigm shift in the computing architecture and large scale data processing mechanisms. MapReduce is a simple and powerful programming model that enables easy development of scalable parallel applications to process vast amounts of data on large clusters of commodity machines. It isolates the application from the details of running a distributed program such as issues on data distribution, scheduling and fault tolerance. However, the original implementation of the MapReduce framework had some limitations that have been tackled by many research efforts in several followup works after its introduction. This article provides a comprehensive survey for a family of approaches and mechanisms of large scale data processing mechanisms that have been implemented based on the original idea of the MapReduce framework and are currently gaining a lot of momentum in both research and industrial communities. We also cover a set of introduced systems that have been implemented to provide declarative programming interfaces on top of the MapReduce framework. In addition, we review several large scale data processing systems that resemble some of the ideas of the MapReduce framework for different purposes and application scenarios. Finally, we discuss some of the future research directions for implementing the next generation of MapReduce-like solutions.

연구 동기 및 목표

• 원래의 MapReduce 프로그래밍 모델에서 유래한 시스템 및 프레임워크를 종합적으로 조사하는 것.
• 원래의 MapReduce 프레임워크의 한계를 분석하고, 이를 보완하기 위해 개발된 후속 시스템들이 어떻게 이를 해결했는지 분석하는 것.
• 저수준의 MapReduce 프로그래밍보다 사용이 쉬운 MapReduce 위에 구축된 선언적 인터페이스를 검토하는 것.
• MapReduce 원칙을 기반으로 한 도메인 특화 대규모 데이터 처리 시스템을 탐색하는 것.
• 차세대 대규모 데이터 시스템을 위한 핵심 연구 과제와 향후 연구 방향을 식별하는 것.

제안 방법

• Hadoop와 같은 오픈소스 구현체와 상용 파생 제품을 포함한 MapReduce 기반 시스템에 대한 체계적 조사 수행.
• 프로그래밍 모델, 데이터 모델 지원(예: 중첩, 계층적, 그래프) 및 배포 모델을 기반으로 시스템 분류.
• Hadoop 데이터 위에 SQL 유사 인터페이스를 제공하는 선언적 쿼리 언어인 AQL(ASTERIX)과 Jaql 분석.
• 중첩 데이터를 위한 Dremel, 그래프 처리를 위한 Pregel, 스트림 처리를 위한 Storm과 같은 도메인 특화 시스템 평가.
• 표현력, 장애 내성, 확장성 측면에서 MapReduce와 그 후속 시스템 간의 아키텍처적 및 의미적 차이를 매핑.
• 현재 시스템의 격차를 특정화, 예를 들어 디버깅 지원 부족, 에너지 효율성, 복잡한 데이터 모델(예: XML, RDF, 그래프)에 대한 표현력 제한

실험 결과

연구 질문

• RQ1 원래의 MapReduce 모델은 어떻게 대규모 데이터 처리 시스템의 가족을 유도했는가?
• RQ2 원래의 MapReduce 프레임워크의 핵심 한계는 무엇이며, 이를 해결하기 위해 후속 시스템들이 어떻게 개발되었는가?
• RQ3 AQL과 Jaql과 같은 선언적 인터페이스는 저수준 MapReduce 프로그래밍에 비해 사용자 친화도를 어떻게 향상시키는가?
• RQ4 Dremel, Pregel, Storm과 같은 도메인 특화 시스템은 MapReduce 파라다임을 어떻게 확장하거나 이질화하는가?
• RQ5 MapReduce를 초월한 차세대 대규모 데이터 처리 시스템을 위한 핵심 연구 과제는 무엇인가?

주요 결과

• MapReduce는 여전히 대규모 데이터 처리의 기초 모델로 남아 있으며, Hadoop는 산업계와 학계에서 널리 채택되어 있다.
• AQL과 Jaql와 같은 선언적 인터페이스는 저수준 MapReduce 로직을 추상화함으로써 데이터 조작을 더 쉽게 만들며, 개발자 생산성을 향상시킨다.
• Dremel과 BigQuery와 같은 도메인 특화 시스템은 중첩된 데이터의 인터랙티브 분석을 가능하게 하여 MapReduce의 쿼리 지연 시간과 표현력의 한계를 극복한다.
• Pregel과 그 오픈소스 구현체(Giraph, Hama)는 BSP 기반 모델이 확장 가능한 그래프 분석에 적합함을 보여준다.
• Storm과 같은 스트림 처리 시스템은 실시간 데이터 처리를 가능하게 하여 MapReduce의 배치 처리 모델을 지속적인 데이터 워크로드로 확장한다.
• 진전이 있었음에도 불구하고, 분산 계산의 디버깅, 에너지 효율성, XML, RDF, 그래프와 같은 복잡한 데이터 모델을 MapReduce 파라다임 내에서 지원하는 데 여전히 과제가 남아 있다.