[논문 리뷰] Distributed Mean Estimation with Limited Communication

Ananda Theertha Suresh, Felix X. Yu외 2명|arXiv (Cornell University)|2016. 11. 02.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 148

한 줄 요약

논문은 분포에 독립적인 통신 효율적 프로토콜을 통해 분산 평균 추정을 제시하고, 통신 비용 대비 minimax-optimal MSE를 달성하며 이를 분산 Lloyd의 알고리즘(k-means)과 PCA의 고유 벡터 추정을 위한 파워 이터레이션에 적용한다.

ABSTRACT

Motivated by the need for distributed learning and optimization algorithms with low communication cost, we study communication efficient algorithms for distributed mean estimation. Unlike previous works, we make no probabilistic assumptions on the data. We first show that for $d$ dimensional data with $n$ clients, a naive stochastic binary rounding approach yields a mean squared error (MSE) of $Θ(d/n)$ and uses a constant number of bits per dimension per client. We then extend this naive algorithm in two ways: we show that applying a structured random rotation before quantization reduces the error to $\mathcal{O}((\log d)/n)$ and a better coding strategy further reduces the error to $\mathcal{O}(1/n)$ and uses a constant number of bits per dimension per client. We also show that the latter coding strategy is optimal up to a constant in the minimax sense i.e., it achieves the best MSE for a given communication cost. We finally demonstrate the practicality of our algorithms by applying them to distributed Lloyd's algorithm for k-means and power iteration for PCA.

연구 동기 및 목표

• 데이터 분布를 가정하지 않고도 낮은 통신 비용으로 분산 평균 추정을 동기부여한다.
• 고정된 통신 예산에서 minimax 평균 제곱 오차(MSE)를 연구한다.
• MSE를 최소화하기 위해 여러 양자화 및 코딩 방식을 개발하고 비교한다.
• 분산 Lloyd의 알고리즘과 PCA 파워 이터레이션에 알고리즘을 적용하여 실용성을 입증한다.

제안 방법

• baseline으로 확률적 균등 양자화를 사용한다.
• MSE를 줄이기 위해 k-레벨 확률적 양자화를 도입한다.
• 양자화 전에 무작위 회전을 적용하는 확률적 회전 양자화를 통해 MSE를 더 감소시킨다.
• 양자화된 레벨을 압축하기 위해 가변 길이 코딩(산술/허프만) 방식을 활용한다.
• 클라이언트 샘플링을 도입하여 통신과 MSE 간의 트레이드를 수행한다.
• 최솟값 하한( minimax lower bounds)을 증명하고 상수에 대해 최적성을 보인다.

실험 결과

연구 질문

• RQ1 주어진 통신 예산 c 하에서 분포 가정 없이 분산 평균 추정에 대해 달성 가능한 최솟값 MSE는 무엇인가?
• RQ2 양자화 전에 무작위 회전을 사용하면 고정된 통신 비용에서 MSE를 감소시킬 수 있는가?
• RQ3 분산 평균 추정에 대해 다양한 양자화 및 코딩 전략은 MSE와 통신 측면에서 어떻게 비교되는가?
• RQ4 제안된 스킴이 k-means의 분산 Lloyd 알고리즘과 PCA의 파워 이터레이션과 같은 실용적 작업에 효과적으로 확장되는가?

주요 결과

• 기본적인 확률적 이진 양자화는 차원당 상수 비트로 MSE가 Theta(d/n)임을 보인다.
• 확률적 k-레벨 양자화는 고정된 X i 한계에서 MSE를 O(d/(n(k-1)^2))로 개선하며, 통신은 n·(d log2 k + O(1)) 비트이다.
• 무작위 회전을 이용한 확률적 회전 양자화는 동일한 통신에서 상수로 MSE를 O((log d)/n)로 달성한다.
• 산술/허프만 코딩을 활용한 가변 길이 코딩은 비회전 양자화와 비슷한 MSE를 보이면서도 통신을 감소시키며, k ≤ sqrt(d)인 경우 각 클라이언트에 대해 O(d) 비트 달성을 가능하게 한다.
• c ≤ nd t인 경우 보편적 상수 t<1에 대해 minimax MSE가 Theta(min(1, d/c))임을 보이며, 차원과 통신 간 선형 스케일링을 확립한다.
• 제안된 스킴은 분산 Lloyd의 알고리즘(k-means)과 파워 이터레이션(PCA)에 대해 시연된다.