[논문 리뷰] The Benefit of Being Flexible in Distributed Computation

Linqi Song, Sundara Rajan Srinivasavaradhan외 1명|arXiv (Cornell University)|2017. 05. 23.

Distributed systems and fault tolerance인용 수 3

한 줄 요약

이 논문은 무작위 데이터 배치를 가진 분산 시스템에서 노드에 계산 기능을 할당하는 유연성 덕분에 통신 비용을 극적으로 감소시킬 수 있음을 보여준다. 데이터를 필요로 하는 기능을 이미 해당 데이터를 보유한 노드에 전략적으로 할당함으로써, 데이터 관측 확률이 임계 임계값을 초과하면 데이터 재배치를 완전히 제거할 수 있으며, 고카버리지 영역에서는 거의 영통신을 달성할 수 있다.

ABSTRACT

In wireless distributed computing, networked nodes perform intermediate computations over data placed in their memory and exchange these intermediate values to calculate function values. In this paper we consider an asymmetric setting where each node has access to a random subset of the data, i.e., we cannot control the data placement. The paper makes a simple point: we can realize significant benefits if we are allowed to be "flexible", and decide which node computes which function, in our system. We make this argument in the case where each function depends on only two of the data messages, as is the case in similarity searches. We establish a percolation in the behavior of the system, where, depending on the amount of observed data, by being flexible, we may need no communication at all.

연구 동기 및 목표

• 무작위 데이터 배치 하에서 분산 계산의 통신 비용 트레이드오프를 조사하기 위해.
• 고정 할당 대비 기능을 노드에 민첩하게 할당할 경우 통신 비용이 감소하는지 분석하기 위해.
• 자체 데이터 가용성 덕분에 데이터 재배치가 불필요해지는 조건을 규명하기 위해.
• 특히 비대칭 기능-데이터 관계에서 기능 할당 유연성의 통신 감소 효과를 정량화하기 위해.

제안 방법

• 각 노드가 K개의 데이터 메시지 중 무작위 부분집합을 보유하는 m개의 노드로 구성된 분산 계산 시스템을 모델링한다.
• p가 노드가 특정 데이터 메시지를 보유할 확률일 때, 기능-데이터 의존성을 무작위 이분 그래프 B(m, n, p)로 표현한다.
• 고정 기능 할당(기능이 사전에 할당됨)과 민감한 기능 할당(가용 데이터가 있는 노드에 기능을 할당함)의 두 가지 방식에서 통신 비용을 분석한다.
• 퍼콜레이션 이론과 확률적 경계(예: A.M-G.M, 체르노프)를 사용하여 통신이 불필요해지는 임계값을 유도한다.
• 비코드 및 코드 전송 방식을 평가하며, 전송 횟수에 중점을 둔다.
• 유연한 할당이 데이터 재배치를 완전히 제거할 수 있는 임계 확률 pth = 1 − (log K / K)^{1/C}를 유도한다.

실험 결과

연구 질문

• RQ1 무작위 데이터 배치 하에서 분산 기능 계산에서 달성 가능한 최소 통신 비용은 무엇인가?
• RQ2 고정 할당 대비 기능을 노드에 민감하게 할당할 경우 통신 비용은 어떻게 영향을 받는가?
• RQ3 시스템이 상당한 통신이 필요한 상태에서 통신이 전혀 필요 없게 전이되는 데이터 관측 확률은 어느 수준인가?
• RQ4 노드가 로컬 데이터에 기반해 어떤 기능을 계산할지 선택할 수 있을 때, 비코드 또는 코드 전송 횟수를 0으로 줄일 수 있는가?
• RQ5 기능 의존성 구조(예: 각 기능이 두 개의 데이터 메시지에 의존함)가 통신 효율성에 어떤 영향을 미치는가?

주요 결과

• 데이터 관측 확률 p가 임계값 pth = 1 − (log K / K)^{1/C}를 초과할 경우, 기능 할당의 유연성 덕분에 데이터 재배치를 완전히 제거할 수 있으며, 통신 비용이 0이 된다.
• 고정 기능 할당의 경우, p가 임계값 이하일 때도 코딩을 적용해도 통신 비용이 Θ(K)로 유지되며, 이는 코딩 이득이 없다는 것을 의미한다.
• 유연한 할당의 경우, p > 1 − o(1)일 때 거의 확실히 통신 비용이 0이 되며, 특히 p > 1 − log K / K일 경우 뚜렷하게 감소한다.
• 비코드 전송의 경우 기대 전송 횟수는 K(2 − 2p + p²)이며, p가 높을수록 크게 감소한다.
• 고정 할당이 Θ(K)회의 전송이 필요한 영역 p ∈ (log K / n)^{ω(1)}에서 1 − log K / K 사이에서, 기능 할당의 유연성 덕분에 통신 비용이 0이 되는 영역이 가장 두드러진다.
• 임계값 pth = 1 − (log K / K)^{1/C}는 확률적 부등식과 퍼콜레이션 분석을 통해 도출되었으며, 시스템 행동의 급격한 전이를 보여준다.