[논문 리뷰] REX: Recursive, Delta-Based Data-Centric Computation

Svilen R. Mihaylov, Zachary G. Ives외 1명|arXiv (Cornell University)|2012. 08. 01.

Cloud Computing and Resource Management참고 문헌 20인용 수 5

한 줄 요약

REX는 반복적 데이터 분석을 효율적으로 처리하기 위해 반복 간 변화량(deltas)만 전파하는 데이터 중심의 계산 모델을 제안한다. 이는 반복 계산의 중복을 줄이며, 데이터베이스 스타일의 연산과 클라우드 스타일의 장애 내성 기능을 통합하여 K-means 및 최단경로 쿼리와 같은 반복 워크로드에서 Hadoop 및 HaLoop 대비 최대 100배의 성능 향상을 달성한다.

ABSTRACT

In today's Web and social network environments, query workloads include ad hoc and OLAP queries, as well as iterative algorithms that analyze data relationships (e.g., link analysis, clustering, learning). Modern DBMSs support ad hoc and OLAP queries, but most are not robust enough to scale to large clusters. Conversely, "cloud" platforms like MapReduce execute chains of batch tasks across clusters in a fault tolerant way, but have too much overhead to support ad hoc queries. Moreover, both classes of platform incur significant overhead in executing iterative data analysis algorithms. Most such iterative algorithms repeatedly refine portions of their answers, until some convergence criterion is reached. However, general cloud platforms typically must reprocess all data in each step. DBMSs that support recursive SQL are more efficient in that they propagate only the changes in each step -- but they still accumulate each iteration's state, even if it is no longer useful. User-defined functions are also typically harder to write for DBMSs than for cloud platforms. We seek to unify the strengths of both styles of platforms, with a focus on supporting iterative computations in which changes, in the form of deltas, are propagated from iteration to iteration, and state is efficiently updated in an extensible way. We present a programming model oriented around deltas, describe how we execute and optimize such programs in our REX runtime system, and validate that our platform also handles failures gracefully. We experimentally validate our techniques, and show speedups over the competing methods ranging from 2.5 to nearly 100 times.

연구 동기 및 목표

• 반복적 데이터 분석을 위해 현대의 관계형 DBMS와 클라우드 플랫폼의 장점을 통합한다.
• 클라우드 플랫폼에서 각 반복마다 전체 데이터셋을 재처리하는 비효율성을 해결한다.
• 재귀 SQL에서 오래된 중간 결과가 불필요하게 유지되는 상태 누적 문제를 해결한다.
• 단일 확장 가능한 시스템 내에서 임시적인 OLAP 쿼리와 복잡한 반복 알고리즘을 모두 지원한다.
• 전체 중간 결과가 아닌 변화량 상태만 영속화함으로써 효율적인 장애 복구를 가능하게 한다.

제안 방법

• 전체 데이터가 아닌 변화량(deltas)만 반복 간 전파되는 델타 기반 프로그래밍 모델을 사용한다.
• 재귀 실행과 상태 관리를 지원하는 관계형 엔진 내에서 사용자 정의 함수를 실행한다.
• 함수 재정렬, 사전 집계 전달 최적화, 사용자 제공 힌트를 통해 쿼리 실행을 최적화하는 런타임 시스템(REX)을 활용한다.
• 오직 변화하는 델타만 유지함으로써 상태의 점진적 업데이트를 지원하여 메모리 및 I/O 오버헤드를 감소시킨다.
• 공유 없음 클러스터와 연계하고, 가변 상태(예: 최단경로의 최소 거리)의 장애 내성 저장을 위해 DHT를 사용한다.
• 관계형 엔진 내에서 네이티브 Hadoop 코드를 실행할 수 있도록 하여 MapReduce 功能을 통합한다.

실험 결과

연구 질문

• RQ1 반복적 데이터 분석 워크로드를 어떻게 더 효율적으로 실행할 수 있을까? 중복 재계산을 최소화함으로써.
• RQ2 통합된 시스템이 임시적인 OLAP 쿼리와 클러스터링 및 링크 분석과 같은 복잡한 반복 알고리즘을 모두 효율적으로 지원할 수 있을까?
• RQ3 반복 계산에서 성능을 희생시키지 않고 어떻게 장애 내성을 달성할 수 있을까?
• RQ4 분산 환경에서 사용자 정의 함수, 재귀, 집계를 포함한 쿼리에 대해 효과적인 최적화는 무엇인가?
• RQ5 노드 장애가 발생하더라도 변화량 전파가 실행 시간과 복구 오버헤드를 모두 감소시킬 수 있을까?

주요 결과

• REX는 K-means 및 최단경로 쿼리와 같은 다양한 워크로드에서 Hadoop 및 HaLoop 대비 2.5배에서 거의 100배까지의 성능 향상을 달성한다.
• 증분 복구 전략은 재시작 기반 복구 대비 장애 발생 시 복구 오버헤드를 50% 감소시킨다.
• 대부분의 반복 쿼리 시나리오에서 REX는 HaLoop를 3배 이상 뛰어넘는 성능을 보이며, 수렴 속도가 느린 경우 尤히 두드러진다.
• 특히 짧은 수명 주기 또는 안정 단계의 반복에서 전체 재처리를 방지함으로써 시스템 시작 및 종료 오버헤드를 감소시킨다.
• 함수 재정렬 및 사전 집계 전달 최적화는 쿼리 실행 성능을 크게 향상시키지만, 실행 성능에 악영향을 주지 않는다.
• 관계형 엔진 내에서 네이티브 Hadoop 코드를 통합함으로써 MapReduce 스타일 작업을 원활하게 실행하면서도 최적화 이점을 유지할 수 있다.