[논문 리뷰] Storage, Computation, and Communication: A Fundamental Tradeoff in Distributed Computing

Qifa Yan, Sheng Yang외 1명|arXiv (Cornell University)|2018. 06. 20.

Cloud Computing and Resource Management참고 문헌 10인용 수 3

한 줄 요약

이 논문은 코딩된 분산계산 프레임워크에 대해 엄밀한 역설을 유도하여 분산계산에서 저장, 계산, 통신 간의 기본적 상충관계를 규명한다. 최근에 제안된 D3C 기법이 최적의 상충관계를 달성함을 증명하며, MapReduce 유사 시스템에서 저장, 계산, 통신 비용의 파레토 최적 표면을 완전히 특성화한다.

ABSTRACT

We consider a MapReduce-like distributed computing system. We derive a lower bound on the communication cost for any given storage and computation costs. This lower bound matches the achievable bound we proposed recently. As a result, we completely characterize the optimal tradeoff between the storage, the computation, and the communication. Our result generalizes the previous one by Li et al. to also account for the number of computed intermediate values.

연구 동기 및 목표

• 분산계산 시스템에서 저장, 계산, 통신 간의 기본적 상충관계를 규명하는 것.
• 기존의 코딩된 분산계산(CDC) 연구를 발전시켜, 저장된 값 외에도 실제로 계산된 중간 값의 수를 고려하는 것.
• D3C 기법에 대해 매칭 역설을 증명하여 가용 가능한 기법과 이론적 한계 사이의 격차를 해소하는 것.
• Li 등이 제안한 통신-저장 상충관계를 계산 비용을 제1의 차원으로 포함시켜 일반화하는 것.
• 모든 세 시스템 자원에 대한 파레토 최적 상충관계 표면을 완전히 특성화하는 것.

제안 방법

• K개의 노드와 N개의 파일을 가진 분산계산 모델을 정의하며, 각 노드는 파일의 부분집합을 저장하고 중간 값의 부분집합을 계산한다.
• 노드당 계산된 중간 값의 수를 정규화한 값으로 계산 비용을 새로운 지표로 도입하며, 이는 저장 비용과 구별된다.
• 정보이론적 부등식과 엔트로피 기반 경계 기법을 사용하여 통신 부하에 대한 역설 경계를 도출한다.
• 노드의 부분집합에 대해 귀납법 기반 증명을 적용하여 조건부 엔트로피의 하한을 확보함으로써 통신 부하의 하한을 도출한다.
• 중간 값 간의 대칭성과 독립성 가정을 활용하여 조건부 엔트로피 표현식을 단순화한다.
• 유도된 역설 경계를 D3C 기법의 가용 성능와 매칭시켜 최적성의 증명을 완료한다.

실험 결과

연구 질문

• RQ1 분산계산 시스템에서 저장, 계산, 통신 간의 기본적 상충관계는 무엇인가?
• RQ2 주어진 저장 비용과 계산 비용 조합에서 통신 부하를 최소화할 수 있는가?
• RQ3 D3C 기법이 최적의 상충관계를 달성하는가, 아니면 가용 가능한 성능와 역설 경계 사이에 격차가 존재하는가?
• RQ4 실제 계산(즉, 계산된 중간 값의 수)을 고려함으로써 고전적인 저장-통신 상충관계는 어떻게 개선되는가?
• RQ5 통신 부하 하한이 엄밀한가, 그리고 실용적인 기법으로 이를 달성할 수 있는가?

주요 결과

• 논문은 D3C 기법의 성능와 정확히 일치하는 엄밀한 통신 부하 역설 경계를 확립하며 최적성의 증명을 완료한다.
• 최적의 상충관계 표면은 모든 가용 가능한 (저장, 계산, 통신) 조합의 파레토 최적 경계로 완전히 특성화된다.
• 유도된 역설 경계는 $ T \sum_{j=1}^{s-1} \frac{b_{\mathcal{S},j}}{j} $ 로 표현되며, 여기서 $ b_{\mathcal{S},j} $ 는 부분집합 $ \mathcal{S} $ 에서 정확히 j개의 노드에 의해 계산된 중간 값을 세는 값이다.
• 결과는 계산 비용을 설계 변수로 명시적으로 포함시킴으로써 Li 등이 제안한 저장-통신 상충관계를 일반화한다.
• 모든 비어 있지 않은 노드 부분집합에 대해 성립하는 귀납 기반 엔트로피 부등식을 활용하여 경계의 일반성을 확보한다.
• 핵심 통찰은 중간 값의 계산을 선택적으로 허용함으로써, 통신 비용을 증가시키지 않고도 계산 비용을 감소시킬 수 있으며, 이로써 더 나은 자원 상충관계를 달성할 수 있다는 점이다.