[논문 리뷰] Wireless MapReduce Distributed Computing

Fan Li, Jinyuan Chen외 1명|arXiv (Cornell University)|2018. 02. 03.

Caching and Content Delivery참고 문헌 39인용 수 4

한 줄 요약

이 논문은 코딩 전송, 사전 정보 제거 및 제로포싱을 활용하여 무선 간섭 네트워크에서 통신 부하를 최소화하는 최적의 온샷 선형 무선 MapReduce 방식을 제안한다. 코딩 전송과 간섭 제거를 통해 동시에 모든 노드에서 전송할 수 있도록 하여 통신 부하를 $ \frac{1 - r/K}{2r} $로 줄이며, 기존의 비코딩 및 코딩된 TDMA 방식보다 성능이 뛰어나다.

ABSTRACT

Motivated by mobile edge computing and wireless data centers, we study a wireless distributed computing framework where the distributed nodes exchange information over a wireless interference network. Our framework follows the structure of MapReduce. This framework consists of Map, Shuffle, and Reduce phases, where Map and Reduce are computation phases and Shuffle is a data transmission phase. In our setting, we assume that the transmission is operated over a wireless interference network. We demonstrate that, by duplicating the computation work at a cluster of distributed nodes in the Map phase, one can reduce the amount of transmission load required for the Shuffle phase. In this work, we characterize the fundamental tradeoff between computation load and communication load, under the assumption of one-shot linear schemes. The proposed scheme is based on side information cancellation and zero-forcing, and we prove that it is optimal in terms of computation-communication tradeoff. The proposed scheme outperforms the naive TDMA scheme with single node transmission at a time, as well as the coded TDMA scheme that allows coding across data, in terms of the computation-communication tradeoff.

연구 동기 및 목표

• 무선 간섭 네트워크에서 MapReduce의 Shuffle 단계에서 발생하는 높은 통신 지연 문제를 해결하기 위해.
• 무선 분산 계산 환경에서 계산 부하(r)와 통신 부하 사이의 기본적인 상호보완 관계를 규명하기 위해.
• 사전 정보와 제로포싱을 활용하여 이 상호보완 관계를 최적화하는 온샷 선형 방식을 설계하기 위해.
• 기존의 TDMA 및 코딩된 TDMA 방식에 비해 통신 효율성을 높이기 위해.

제안 방법

• 각 중간 값이 코딩된 패킷으로 인코딩되어 전송되는 온샷 선형 코딩 방식을 사용한다.
• 수신기에서 캐시된 중간 값 정보를 활용하여 사전 정보 제거를 실시함으로써 간섭이 존재하는 상황에서도 원하는 신호를 디코딩할 수 있도록 한다.
• 간섭을 의도하지 않은 수신기에서 정렬하기 위해 제로포싱 프리코딩을 적용하여 원하는 기호의 성공적 디코딩을 가능하게 한다.
• 모든 필요 데이터가 최소한의 시간 단위 내에 전달되도록 수신기 집합과 파일 배치 패턴에 기반한 전송 블록을 설계한다.
• 수신기 집합과 파일 부분집합에 대한 조합 최적화를 통해 통신 부하를 $ \frac{1 - r/K}{2r} $로 유도한다.
• 구체적인 파rameter(예: $ K=5, r=2, N=20 $)에 대해 명시적 구성과 블록 전송 스케줄 검증을 통해 제안된 방식을 검증한다.

실험 결과

연구 질문

• RQ1 온샷 선형 코딩 조건 하에서 무선 MapReduce 프레임워크에서 달성 가능한 최적의 통신 부하는 무엇인가?
• RQ2 풀디럭스 무선 간섭 네트워크에서 Shuffle 단계 동안 간섭을 효과적으로 관리할 수 있는 방법은 무엇인가?
• RQ3 모든 노드에서 동시에 전송하는 방식이 순차적 TDMA 방식에 비해 통신 부하를 줄일 수 있는가?
• RQ4 이 설정에서 계산 부하와 통신 부하 사이의 기본적인 상호보완 관계는 무엇인가?
• RQ5 사전 정보와 제로포싱을 동시에 활용하여 최적의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방식은 온샷 선형 방식 가정 하에 최적의 통신 부하 $ \frac{1 - r/K}{2r} $ 를 달성한다.
• 특수 사례 $ K=3, r=2 $ 에서 비코딩 TDMA(3단위 시간), 코딩된 TDMA(2단위 시간)에 비해 통신 부하를 1단위 시간으로 줄여 성능이 뛰어나다.
• 대규모 $ N $ 에서 통신 부하가 $ \frac{1 - r/K}{2r} $ 로 수렴함으로써 渐近 최적성(점점 최적에 수렴함)을 입증한다.
• 캐시된 사전 정보를 활용하여 간섭을 제거함으로써 모든 노드에서 풀디럭스, 동시에 전송이 가능하다.
• 전송 블록 수 $ T $ 는 $ \frac{NQ(1 - r/K)}{2r} $ 의 비율로 증가함을 확인하여 유도된 부하 식이 타당함을 입증한다.
• $ K=5, Q=5, r=2, \widetilde{N}=20 $ 에 대해 명시적 구성 방식을 통해 검증하였으며, 일관된 블록 스케줄링 및 디코딩이 가능함을 보여주었다.