[논문 리뷰] On the Fundamental Limits of Coded Data Shuffling for Distributed Learning Systems.

Adel Elmahdy, Soheil Mohajer|arXiv (Cornell University)|2018. 07. 11.

Stochastic Gradient Optimization Techniques인용 수 2

한 줄 요약

이 논문은 최악의 파일 순열 상황에서 분산 학습 시스템 내 코딩된 데이터 셔플링의 기본 한계를 규명하기 위해, 최악의 파일 순열 하에서 통신 부하를 최소화하는 새로운 결정적 코딩된 셔플링 기법을 제안한다. 정확한 레이트-메모리 트레이드오프를 유도하고, 정보 이론적 하한을 통해 최적성 증명을 수행하며, 워커 캐시를 통해 코딩된 함수를 활용함으로써 이전 연구에 비해 크게 향상된다.

ABSTRACT

We consider the data shuffling problem in a distributed learning system, in which a master node is connected to a set of worker nodes, via a shared link, in order to communicate a set of files to the worker nodes. The master node has access to a database of files. In every shuffling iteration, each worker node processes a new subset of files, and has excess storage to partially cache the remaining files, assuming the cached files are uncoded. The caches of the worker nodes are updated every iteration, and it should be designed to satisfy any possible unknown permutation of the files in subsequent iterations. For this problem, we characterize the exact rate-memory trade-off for worst-case shuffling by deriving the minimum communication load for a given storage capacity per worker node. As a byproduct, the exact rate-memory trade-off for any shuffling is characterized when the number of files is equal to the number of worker nodes. We propose a novel deterministic coded shuffling scheme, which improves the state of the art, by exploiting the cache memories to create coded functions that can be decoded by several worker nodes. Then, we prove the optimality of our proposed scheme by deriving a matching lower bound and showing that the placement phase of the proposed coded shuffling scheme is optimal over all shuffles.

연구 동기 및 목표

• 비코딩 캐싱을 가진 분산 학습 시스템에서 최악의 상황에서의 데이터 셔플링에 대해 정확한 레이트-메모리 트레이드오프를 규명하기 위해.
• 임의의 파일 순열 하에서 통신 부하를 최소화하는 결정적 코딩된 셔플링 기법을 설계하기 위해.
• 통신 부하에 대한 매칭 하한을 유도하여 제안된 기법의 최적성을 증명하기 위해.
• 제안된 기법의 플레이스먼트 단계가 모든 가능한 셔플에 대해 최적이 되는지 확인하기 위해.

제안 방법

• 워커 노드 캐시 메모리를 활용하여 다수의 워커가 동시에 복호화할 수 있는 코딩된 함수를 생성하는 새로운 결정적 코딩된 셔플링 기법을 제안한다.
• 미래 반복에서 알려지지 않은 파일 순열을 지원할 수 있도록 캐시를 사전 조정하는 플레이스먼트 단계를 설계한다.
• 다수의 워커가 동시에 필요한 파일을 복호화할 수 있도록 구조적 코딩 접근법을 사용해 코딩된 전송을 생성한다.
• 정보 이론적 추론을 통해 통신 부하에 대한 하한을 유도하여 최적성 증명을 수행한다.
• 최악의 셔플링 상황에서 저장 용량(메모리)과 통신 부하 간의 트레이드오프를 분석한다.
• 파일 수가 워커 노드 수와 동일할 경우, 정확한 레이트-메모리 트레이드오프가 완전히 규명됨을 보여준다.

실험 결과

연구 질문

• RQ1 최악의 파일 순열 상황에서 코딩된 데이터 셔플링의 통신 부하에 대한 기본 한계는 무엇인가?
• RQ2 워커 노드 캐시를 활용하면서도 통신을 최소화할 수 있도록 코딩된 함수는 어떻게 설계할 수 있는가?
• RQ3 제안된 코딩된 셔플링 기법은 모든 가능한 셔플에 대해 통신 부하 측면에서 최적인가?
• RQ4 파일 할당의 모든 가능한 순열에 대해 플레이스먼트 단계를 최적화할 수 있는가?

주요 결과

• 제안된 코딩된 셔플링 기법은 최악의 셔플링 상황에서 워커 노드당 주어진 저장 용량 하에서 가능한 최소 통신 부하를 달성한다.
• 매칭 하한이 도출되어 제안된 기법이 정보 이론적으로 최적임을 증명한다.
• 파일 수가 워커 노드 수와 동일한 특수 케이스에서 레이트-메모리 트레이드오프가 정확히 규명된다.
• 기법의 플레이스먼트 단계가 모든 가능한 셔플에 대해 최적이며, 어떤 순열에 대해서도 최소 통신 부하를 보장함을 증명한다.
• 캐시를 통해 코딩된 함수를 활용하여 중복 전송을 줄임으로써 기존 최고 수준의 성능을 초월한다.
• 이 결과는 분산 학습 시스템 내 코딩된 데이터 셔플링의 기본 한계에 대한 최초의 정확한 규명을 수립한다.