[논문 리뷰] Distributed Mean Estimation with Optimal Error Bounds.

Dan Alistarh, Saleh Ashkboos외 1명|arXiv (Cornell University)|2020. 02. 21.

Stochastic Gradient Optimization Techniques인용 수 1

한 줄 요약

이 논문은 입력 벡터 노름에 의존하지 않고 입력 분산에만 의존하는 최적의 오차 한계를 달성하는 새로운 양자화 기반 분산 평균 추정 방법을 제안한다. 노름에 대한 의존성과 분산 감소를 분리함으로써, 다양한 통신 환경에서 뛰어난 성능을 발휘할 수 있으며, 이론적 보장과 이전 방법들에 비해 개선된 실험 결과를 제공한다.

ABSTRACT

We consider the problem of distributed variance reduction: $n$ machines each receive probabilistic estimates of an unknown true vector $\Delta$, and must cooperate to find a common estimate of $\Delta$ with lower variance, while minimizing communication. Variance reduction is closely related to the well-studied problem of distributed mean estimation, and is a key procedure in instances of distributed optimization, such as data-parallel stochastic gradient descent. Previous work typically assumes an upper bound on the norm of the input vectors, and achieves an output variance bound in terms of this norm. However, in real applications, the input vectors can be concentrated around the true vector $\Delta$, but $\Delta$ itself may have large norm. In this case, output variance bounds in terms of input norm perform poorly, and may even increase variance. In this paper, we show that output variance need not depend on input norm. We provide a method of quantization which allows variance reduction to be performed with solution quality dependent only on input variance, not on input norm, and show an analogous result for mean estimation. This method is effective over a wide range of communication regimes, from sublinear to superlinear in the dimension. We also provide lower bounds showing that in many cases the communication to output variance trade-off is asymptotically optimal. Further, we show experimentally that our method yields improvements for common optimization tasks, when compared to prior approaches to distributed mean estimation.

연구 동기 및 목표

• 입력 벡터 노름에 의존하는 기존 분산 평균 추정 방법의 한계를 해결함으로써, 진짜 벡터의 노름이 클 경우 성능이 떨어지는 문제를 해결하고자 한다.
• 입력 분산에만 의존하는 분산 감소를 보장하는 양자화 기법을 설계하여 실세계 응용에서의 강건성을 향상시키고자 한다.
• 하향선형에서 초선형 통신 환경에 이르기까지 다양한 통신 환경에서 통신 대 오차의 상호 교환 관계가 점점 최적화되는지를 확립하고자 한다.
• 기존 방법들과 비교하여 데이터 병렬 SGD와 같은 분산 최적화 작업에서의 실험적 성능 향상을 입증하고자 한다.

제안 방법

• 입력 벡터의 분산 구조를 유지하면서 통신을 최소화하는 방식으로 변환하는 새로운 양자화 메커니즘을 도입한다.
• 기계들이 양자화된 추정치를 교환하는 분산 평균화 프로토콜을 활용하여 통신 비용을 줄이되, 추정 정확도를 훼손하지 않는다.
• 이론적 경계를 유도하여 출력 분산이 진짜 벡터 Δ의 노름에 의존하지 않고 입력 분산에만 의존함을 보여준다.
• 차원에 대해 하향선형에서 초선형에 이르기까지 다양한 통신 예산에 적응 가능한 통신 효율적인 프로토콜을 설계한다.
• 입력 벡터의 노름이 크지만 Δ 주위로 집중되어 있을 경우에도 추정 정밀도를 유지하는 분산 인지 양자화 전략을 사용한다.
• 통신-분산 상호 교환 관계에 대한 하한을 확립하여, 많은 환경에서 본 방법의 점점 최적화됨을 증명한다.

실험 결과

연구 질문

• RQ1 진짜 벡터 Δ의 노름에 의존하지 않는 분산 평균 추정이 가능할 수 있는가?
• RQ2 입력 분산에만 의존하고 입력 노름에 의존하지 않는 양자화 기법을 설계할 수 있는가?
• RQ3 분산 평균 추정에서 최적의 통신 대 출력 분산 상호 교환 관계는 무엇이며, 이를 달성할 수 있는가?
• RQ4 본 방법은 하향선형에서 초선형까지 차원에 비례하는 다양한 통신 환경에서 어떻게 성능을 발휘하는가?
• RQ5 데이터 병렬 SGD와 같은 실질적인 분산 최적화 워크로드에서 측정 가능한 성능 향상이 이루어지는가?

주요 결과

• 제안된 방법은 출력 분산이 진짜 벡터 Δ의 노름에 의존하지 않고 입력 분산에만 의존함을 보여주어, 이전 방법의 핵심 한계를 해결한다.
• 이론적 하한을 통해 다양한 통신 환경에서 점점 최적화된 통신-오차 상호 교환 관계를 확보한다.
• 실험 결과는 데이터 병렬 확률적 경사 하강법에서의 수렴 속도 향상과 같은 분산 최적화 작업에서 측정 가능한 성능 향상을 보여준다.
• 양자화 기법은 입력 벡터의 노름이 크지만 분산이 작을 경우에도 효과적인 분산 감소를 가능하게 한다.
• 하향선형에서 초선형 통신 환경에 이르기까지 다양한 통신 환경에서 강력한 성능 유지를 유지한다.
• 이론적 분석을 통해 많은 설정에서 본 방법의 통신 효율성을 더 이상 점점 최적화할 수 없음을 확인하여 최적성의 성립을 입증한다.