[논문 리뷰] MalStone: Towards A Benchmark for Analytics on Large Data Clouds

Collin Bennett, Robert L. Grossman외 3명|arXiv (Cornell University)|2010. 07. 07.

Cloud Computing and Resource Management참고 문헌 6인용 수 7

한 줄 요약

MalStone는 대규모 로그 데이터에서 이동 윈도우 비율을 계산하는 데 중점을 두어 데이터 집약적 분석 워크로드를 대상으로 클라우드 미들웨어 성능을 평가하기 위한 새로운 벤치마크를 소개한다. 이는 개방형 합성 로그 파일 생성기인 MalGen과 보완되며, Hadoop, Sector, Hadoop Streams 구현 간 최대 20배의 성능 차이를 입증하여 아키텍처가 분석 워크로드에 미치는 영향을 드러낸다.

ABSTRACT

Developing data mining algorithms that are suitable for cloud computing platforms is currently an active area of research, as is developing cloud computing platforms appropriate for data mining. Currently, the most common benchmark for cloud computing is the Terasort (and related) benchmarks. Although the Terasort Benchmark is quite useful, it was not designed for data mining per se. In this paper, we introduce a benchmark called MalStone that is specifically designed to measure the performance of cloud computing middleware that supports the type of data intensive computing common when building data mining models. We also introduce MalGen, which is a utility for generating data on clouds that can be used with MalStone.

연구 동기 및 목표

• 클라우드 미들웨어의 데이터 마이닝 및 분석 워크로드 평가를 위한 표준화된 벤치마크 부족 문제를 해결하기 위해.
• 분석 작업에 대한 확장성과 성능 측면에서 대규모 데이터 클라우드 시스템 간 공정한 비교를 가능하게 하기 위해.
• 실제 대규모 분석 워크로드에 적합한 맞춤형 합성 데이터 생성기(MalGen)를 제공하기 위해.
• 미들웨어 선택이 심지어 간단한 통계 계산조차도 분산 분석에서 성능에 상당한 영향을 미칠 수 있음을 입증하기 위해.
• 클라우드 환경에서의 데이터 마이닝 및 기능 공학에 초점을 맞춘 향후 벤치마크의 기반을 마련하기 위해.

제안 방법

• MalStone는 시간에 따라 각 사이트의 마킹된 엔티티 수의 이동 윈도우 비율 ρj,t를 계산하는 스타일화된 분석 계산을 정의한다.
• 벤치마크는 로그 레코드가 엔티티의 사이트 방문을 추적하고, 후속 마킹이 관심의 잠재적 원천을 나타내는 Site-Entity-Mark 모델을 사용한다.
• MalGen은 설정 가능한 스케일(예: 100억 개의 100바이트 레코드)로 합성 로그 파일을 생성하여 실제 세계의 데이터 볼륨을 시뮬레이션한다.
• 구현은 Hadoop, Hadoop Streams, Sector 미들웨어를 사용하여 로그 데이터를 처리하고 MalStone 통계를 계산한다.
• 벤치마크는 다양한 미들웨어 스택을 사용한 분산 클러스터에서의 종단 간 실행 시간을 사용하여 성능을 평가한다.
• 실험은 100개 이상의 노드를 갖는 클러스터와 페타바이트 규모의 데이터에서 Hadoop, Hadoop Streams, Sector 세 가지 미들웨어 스택을 비교한다.

실험 결과

연구 질문

• RQ1 대규모 데이터에서 대표적인 데이터 마이닝 분석을 실행할 때, 다양한 클라우드 미들웨어 스택의 성능은 어떻게 비교되는가?
• RQ2 Hadoop Streams는 클라우드 분석의 특정 통계 계산에서 기존 MapReduce보다 얼마나 뛰어나게 성능을 냈는가?
• RQ3 MalGen과 같은 합성 데이터 생성기는 클라우드 분석 플랫폼 벤치마킹에 적합한 현실적인 대규모 데이터셋을 생성할 수 있는가?
• RQ4 클라우드 분석을 위한 미들웨어에서 성능 차이가 발생하는 주요 아키텍처 및 구현 요인은 무엇인가?
• RQ5 MalStone 벤치마크는 단순한 정렬이나 집계를 넘어서 실제 워크로드의 복잡성을 어떻게 반영하는가?

주요 결과

• MalStone는 대규모 데이터에서 동일한 분석 통계를 계산할 때, 다양한 클라우드 미들웨어 스택 간 최대 20배의 성능 차이를 드러냈다.
• Hadoop Streams는 MalStone 통계 계산에서 기존 MapReduce보다 뛰어난 성능을 보였으며, 스트림을 통한 경량 스크립팅이 전체 MapReduce 파이프라인보다 더 효율적일 수 있음을 입증했다.
• Hadoop Streams를 통해 Python 프로그램을 사용함으로써 이동 윈도우 비율 ρj,t의 계산 속도가 동등한 MapReduce 구현보다 빨라졌다.
• MalGen은 100개 이상의 노드를 갖는 클러스터에서 십억 개 수준의 합성 로그 레코드를 성공적으로 생성하여 대규모 데이터 클라우드 시스템의 현실적인 벤치마킹을 가능하게 했다.
• MalStone의 근간이 되는 Site-Entity-Mark 모델 추상화는 일반화 가능하며, 시계열에서의 변화 탐지와 같은 다른 실제 분석 문제를 표현할 수 있다.
• 벤치마크는 심지어 간단한 분석 작업이라도 미들웨어 설계가 성능에 상당한 영향을 미칠 수 있음을 강조하며, 애플리케이션 특화 평가의 필요성을 부각시킨다.