[논문 리뷰] Meta-MapReduce: A Technique for Reducing Communication in MapReduce Computations

Foto Afrati, Shlomi Dolev외 2명|arXiv (Cornell University)|2015. 08. 05.

Graph Theory and Algorithms참고 문헌 13인용 수 8

한 줄 요약

이 논문은 메타-맵리듀스(Meta-MapReduce)를 소개한다. 이 기법은 전체 데이터 값 대신 메타데이터만을 전송함으로써 분산 맵리듀스 계산에서의 통신 비용을 줄인다. 맵 및 리듀스 단계에서 메타데이터를 처리함으로써 데이터 전송을 최소화하며, 특히 최종 출력에 기여하는 입력 데이터의 부분집합이 있는 경우에 특히 효과적이다. 이로 인해 등가조인, k-NN, 최단경로 계산과 같은 워크로드에서 통신 비용을 크게 절감할 수 있다.

ABSTRACT

MapReduce has proven to be one of the most useful paradigms in the revolution of distributed computing, where cloud services and cluster computing become the standard venue for computing. The federation of cloud and big data activities is the next challenge where MapReduce should be modified to avoid (big) data migration across remote (cloud) sites. This is exactly our scope of research, where only the very essential data for obtaining the result is transmitted, reducing communication, processing and preserving data privacy as much as possible. In this work, we propose an algorithmic technique for MapReduce algorithms, called Meta-MapReduce, that decreases the communication cost by allowing us to process and move metadata to clouds and from the map phase to reduce phase. In Meta-MapReduce, the reduce phase fetches only the required data at required iterations, which in turn, assists in preserving the data privacy.

연구 동기 및 목표

• 데이터와 계산이 원격에 위치해 있을 때 맵리듀스에서 높은 통신 비용을 해결하기 위해, 특히 최종 출력에 기여하는 데이터가 부분적으로만 존재하는 경우에 대비한다.
• 클라우드 및 분산된 사이트 간에 원시 데이터의 전송을 최소화함으로써 데이터 프라이버시를 유지한다.
• 다중 라운드 및 지리적으로 분산된 맵리듀스 계산에서 데이터 이동을 줄임으로써 효율성을 향상시킨다.
• 정확성을 유지하면서도 통신 오버헤드를 극적으로 줄이는 확장 가능한 알고리즘 기법을 제공한다.
• 등가조인, k-NN, 그래프의 최단경로 계산과 같은 실제 문제들에 대해 이 기법의 효과성을 입증한다.

제안 방법

• 전체 데이터 전송을 메타데이터 전송으로 대체하며, 메타데이터는 데이터 필드의 핵심적인 구조적 또는 의미적 정보를 담는다.
• 메타데이터는 맵 단계에서 처리되어 사전 필터링 또는 요약을 수행함으로써 리듀서로 전송되는 데이터의 양을 줄인다.
• 리듀서는 메타데이터를 기반으로 필요한 전체 데이터 항목을 결정하고, 이후 단계에서만 해당 항목을 가져온다.
• 리듀서의 처리 용량 제약 조건(q)을 사용하여 리듀서가 처리할 수 있는 입력 크기를 제한함으로써 확장성을 확보한다.
• 반복적인 맵리듀스 워크플로우를 지원하기 위해 라운드 간에 메타데이터 기반의 프루닝을 가능하게 한다.
• 기존 맵리듀스 프레임워크에 통합하기 위해 맵 및 리듀스 단계를 메타데이터 기반 처리를 지원하도록 확장한다.

실험 결과

연구 질문

• RQ1 데이터와 계산이 지리적으로 분리되어 있을 때 맵리듀스에서 통신 비용을 어떻게 줄일 수 있는가?
• RQ2 정확성이나 성능을 희생시키지 않고 맵리듀스에서 전체 데이터 전송을 메타데이터로 얼마나 효과적으로 대체할 수 있는가?
• RQ3 메타-맵리듀스는 k-NN 및 최단경로와 같은 다중 라운드 맵리듀스 워크플로우에서 통신을 크게 줄일 수 있는가?
• RQ4 메타-맵리듀스는 원시 데이터 전송을 최소화함으로써 어떻게 데이터 프라이버시를 유지하는가?
• RQ5 등가조인과 같은 일반적인 연산에 대해 메타-맵리듀스의 이론적 통신 비용 절감율은 고전적 맵리듀스 대비 얼마나 되는가?

주요 결과

• 두 관계의 등가조인의 경우, 고전적 맵리듀스에서 4nw 비트의 통신 비용을 기록하는 데 비해, 메타-맵리듀스는 최대 2nc + h(c + w) 비트로 통신 비용을 줄였다.
• k-NN에서 k ≤ m일 경우, 전체 튜플 대신 S 튜플의 메타데이터만 전송되기 때문에 통신 비용 절감 효과가 특히 뚜렷하다.
• 소셜 네트워크에서 최단경로 계산 시, 메타-맵리듀스는 관련 없는 사진과 노드를 전송하지 않아, 전송되는 데이터를 필수적인 메타데이터로만 제한한다.
• 부분 출력의 클러스터 간 전송을 최소화함으로써 지리적으로 분산된 데이터 처리를 효율적으로 지원한다.
• 메타-맵리듀스는 반복적 맵리듀스를 지원하여 반복 간에 메타데이터 기반 프루닝을 가능하게 하여 불필요한 데이터 이동을 줄였다.
• 최종 출력에 기여하는 입력 데이터의 비율이 매우 낮을 경우에 특히, 전송되는 데이터 크기를 지수적으로 줄이면서도 정확성을 유지한다.