[논문 리뷰] Randomized Distributed Mean Estimation: Accuracy vs Communication

Jakub Konečný, Peter Richtárik|arXiv (Cornell University)|2016. 11. 22.

Stochastic Gradient Optimization Techniques인용 수 3

한 줄 요약

이 논문은 통계적 가정 없이 통신 비용과 추정 오차 사이의 균형을 이루는 유연한 무작위 분산 평균 추정 알고리즘 가족을 제안한다. 노드별 중심을 갖는 매개변수화된 확률적 인코딩을 사용함으로써, 좌표당 1비트만 전송할 때 O(r/n)의 평균 제곱 오차를 달성하며, 이는 이전 연구에서 차원에 대한 로그적 의존성을 제거하고 계산 오버헤드를 줄여 성능을 향상시킨다.

ABSTRACT

We consider the problem of estimating the arithmetic average of a finite collection of real vectors stored in a distributed fashion across several compute nodes subject to a communication budget constraint. Our analysis does not rely on any statistical assumptions about the source of the vectors. This problem arises as a subproblem in many applications, including reduce-all operations within algorithms for distributed and federated optimization and learning. We propose a flexible family of randomized algorithms exploring the trade-off between expected communication cost and estimation error. Our family contains the full-communication and zero-error method on one extreme, and an $\epsilon$-bit communication and ${\cal O}\left(1/(\epsilon n) ight)$ error method on the opposite extreme. In the special case where we communicate, in expectation, a single bit per coordinate of each vector, we improve upon existing results by obtaining $\mathcal{O}(r/n)$ error, where $r$ is the number of bits used to represent a floating point value.

연구 동기 및 목표

• 통계적 가정 없이 분산 평균 추정에서 통신 비용과 추정 오차 사이의 상충 관계를 해결하기 위해.
• 완전한 통신으로 오차가 없는 경우와 저통신으로 오차가 큰 경우 사이를 연결하는 다양한 무작위 알고리즘 가족을 설계하기 위해.
• Suresh 등 [10]과 같은 기존 방법을 개선하여 차원에 대한 로그적 의존성을 제거하고 계산 비용을 줄이기 위해.
• 더 낮은 오차를 줄이기 위해 무작위 회전과 k-진 인코딩을 통한 사전 처리의 영향을 탐색하기 위해.

제안 방법

• 각 좌표를 압축하여 전송하기 전에 확률 pij와 노드 중심 µi를 사용하는 매개변수화된 무작위 인코딩 프로토콜의 가족을 제안한다.
• 기대값을 유지하면서 통신을 줄이기 위해 각 좌표를 확률적으로 인코딩하는 비편향 인코딩 방식을 적용한다.
• 서버에서 단순한 평균화 디코더를 사용하여 진짜 평균을 추정하며, 추정치가 비편향임을 보장한다.
• 편향된 성분의 분산에서 유도된 폐쇄형 표현식을 사용하여 평균 제곱 오차(MSE)를 분석한다.
• 잠재적으로 더 낮은 MSE를 얻기 위해 이진 인코딩의 k-진 일반화를 도입한다.
• 인코딩을 위한 데이터 구조 개선을 위해 무작위 회전을 통한 사전 처리의 영향을 탐색한다.

실험 결과

연구 질문

• RQ1 기존 방법보다 낮은 평균 제곱 오차를 유지하면서 낮은 통신 비용을 확보할 수 있는가?
• RQ2 차원에 대한 로그적 의존성을 제거하면 고차원 환경에서 성능 향상이 이루어지는가?
• RQ3 무작위 회전을 통한 사전 처리가 제안된 프레임워크에서 기대 오차를 줄일 수 있는가?
• RQ4 인코딩 확률과 노드 중심에 대한 최적화가 통신-오차 상충 관계에 어떤 영향을 미치는가?
• RQ5 이진 인코딩보다 k-진 인코딩을 사용하는 데에 분산 평균 추정에서 유의미한 이점이 있는가?

주요 결과

• 좌표당 1비트 전송 시, 제안된 방법은 r이 부동소수점 값의 비트 수일 때 O(r/n)의 평균 제곱 오차를 달성한다.
• 이 경계는 치수 d에 독립적이며, Suresh 등 [10]의 O(d log d / n) 의존성보다 향상된 성능을 보인다.
• 이 방법은 d에 대해 선형이지만, Suresh 등은 무작위 회전 사전 처리로 인해 O(d log d) 시간이 소요된다.
• 확률과 노드 중심에 대한 최적화는 MSE를 추가로 줄일 수 있으며, 다만 닫힌 형태의 해는 저통신 환경에서만 존재한다.
• 무작위 회전 사전 처리를 통해 MSE를 크게 줄일 수 있으며, 최적 인코딩과 조합하면 추가적인 향상이 가능하다.
• k-진 인코딩 일반화는 잠재적으로 더 낮은 MSE를 제공할 수 있지만, 통신 비용 증가를 수반한다.