[논문 리뷰] New Bounds For Distributed Mean Estimation and Variance Reduction

Peter Maxwell Davies, Vijaykrishna Gurunanthan외 3명|Durham Research Online (Durham University)|2020. 02. 21.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 4

한 줄 요약

이 논문은 입력 벡터 노름에 관계없이 최적의 통신-오차 트레이드오프를 달성하는 분산 평균 추정 및 분산 감소를 위한 격자 기반 양자화 방법을 제안한다. 격자 이론과 오류 검출을 활용함으로써, 분산 감소는 입력의 산포도에만 의존하고 노름에 따라 달라지지 않으며, 엄밀한 이론적 경계와 딥러닝 및 파wer 이터레이션 워크로드에서 이전 방법보다 실용적인 성능 향상을 제공한다.

ABSTRACT

We consider the problem of distributed mean estimation (DME), in which $n$ machines are each given a local $d$-dimensional vector $x_v \in \mathbb{R}^d$, and must cooperate to estimate the mean of their inputs $μ= \frac 1n\sum_{v = 1}^n x_v$, while minimizing total communication cost. DME is a fundamental construct in distributed machine learning, and there has been considerable work on variants of this problem, especially in the context of distributed variance reduction for stochastic gradients in parallel SGD. Previous work typically assumes an upper bound on the norm of the input vectors, and achieves an error bound in terms of this norm. However, in many real applications, the input vectors are concentrated around the correct output $μ$, but $μ$ itself has large norm. In such cases, previous output error bounds perform poorly. In this paper, we show that output error bounds need not depend on input norm. We provide a method of quantization which allows distributed mean estimation to be performed with solution quality dependent only on the distance between inputs, not on input norm, and show an analogous result for distributed variance reduction. The technique is based on a new connection with lattice theory. We also provide lower bounds showing that the communication to error trade-off of our algorithms is asymptotically optimal. As the lattices achieving optimal bounds under $\ell_2$-norm can be computationally impractical, we also present an extension which leverages easy-to-use cubic lattices, and is loose only up to a logarithmic factor in $d$. We show experimentally that our method yields practical improvements for common applications, relative to prior approaches.

연구 동기 및 목표

• 입력 노름에 의존하는 기존 분산 평균 추정 및 분산 감소 방법의 한계를 해결하여, 입력이 원점에서 멀어질수록 성능 저하가 발생하는 문제를 해결한다.
• 오차 경계가 입력 분산(입력 간의 거리)에만 의존하고 입력 노름에 따라 달라지지 않는 통신 효율적인 분산 평균 추정 방법을 개발한다.
• 분산 평균 추정 및 분산 감소에서 원하는 오차 감소를 달성하기 위한 통신 복잡도에 대한 엄밀한 이론적 하한을 설정한다.
• 근사 최적 성능를 달성하면서도 차원 수에 대해 로그적 손실만 존재하는 삼각 격자를 사용한 실용적 구현을 설계한다.
• 분산 확률적 경사 하강법, 신경망 학습, 파워 이터레이션과 같은 실제 응용 분야에서의 성능 우수성을 입증한다.

제안 방법

• 입력 벡터를 상대적 위치에 따라 격자 점으로 매핑하는 격자 기반 양자화 프레임워크를 도입하여, 입력 산포도에 따라 양자화 오차를 최소화한다.
• 격자 색칠 및 구조적 인코딩을 사용하여 최소한의 비트로 양자화된 값을 통신하면서도 평균 추정 정확도를 유지한다.
• 격자 기하학과 오류 수정을 활용하여 양자화된 메시지에서 평균 추정치를 복원하는 복호화 절차를 설계한다.
• 양자화 체계에 오류 검출을 통합하여 적응적 통신을 가능하게 하고 분산 감소 작업에서 기대 성능을 향상시킨다.
• 실용적 구현을 위해 삼각 격자를 활용하여, 차원 d에서 최적에 비해 로그적 요소의 손실만 존재하는 결과를 도출한다.
• 기울기 업데이트 또는 쌍방향 거리 기반 중간 벡터를 양자화하여 분산 확률적 경사 하강법 및 파워 이터레이션에 적용한다.

실험 결과

연구 질문

• RQ1 입력 벡터 노름에 관계없이 오차 경계가 독립적인 분산 평균 추정이 가능할 수 있는가, 특히 입력이 원점에서 멀리 떨어져 있을 경우?
• RQ2 분산 평균 추정에서 주어진 요인의 분산 감소를 달성하기 위한 최적의 통신 복잡도는 무엇인가?
• RQ3 계산적으로 효율적인 삼각 격자를 사용하면서도 근사 최적성을 유지할 수 있도록 격자 기반 양자화를 어떻게 적응시킬 수 있는가?
• RQ4 양자화에서의 오류 검출이 분산 감소 작업에서 기대되는 통신 효율성을 향상시킬 수 있는가?
• RQ5 실제 머신러닝 워크로드에서 제안된 방법이 기존 최첨단 압축 기법보다 어떻게 비교되는가?

주요 결과

• 논문은 분산 평균 추정에서 입력 노름에 관계없이 입력 분산을 q배 감소시키기 위해 Θ(d log q) 비트가 필수적이고 충분함을 입증한다.
• n개의 노드에서의 분산 감소를 위해 Θ(d log n) 비트가 필요하며, 이는 최적의 Θ(n) 요인의 분산 감소를 달성할 수 있고, 이에 대응하는 하한도 존재한다.
• 제안된 격자 기반 방법은 삼각 격자를 사용함에도 불구하고, 차원 d에서 최적에 비해 로그적 요소의 손실만 존재하는 근사 최적의 통신-오차 트레이드오프를 달성한다.
• 실험 결과, LQSGD는 CIFAR-100에서 신경망 학습에서 QSGD와 EF-SignSGD를 능가하며, 4비트 양자화로도 경쟁 가능한 정확도를 달성한다.
• 파워 이터레이션에서는 LQSGD와 RLQSGD가 입력 노름이 클수록 특히 두드러지게 기존의 노름 기반 기준보다 고유벡터 추정 정확도를 크게 향상시킨다.
• 이 방법은 분산 확률적 경사 하강법 및 최소 제곱 회귀에서 실용적인 분산 감소를 가능하게 하며, 시뮬레이션 및 실제 환경 모두에서 이전 방법보다 일관된 성능 향상을 보였다.