[論文レビュー] Distributed Mean Estimation with Limited Communication

Ananda Theertha Suresh, Felix X. Yu+2 more|arXiv (Cornell University)|Nov 2, 2016

Stochastic Gradient Optimization Techniques参考文献 23被引用数 148

ひとこと要約

本論文は、通信効率が高く、分布に依存しない分散型平均推定プロトコルを開発し、通信コストに対するミニマックス最適化されたMSEを達成すると同時に、それらを分散Lloydのアルゴリズムによるk-meansおよびPCAのべき反復へ適用する。

ABSTRACT

Motivated by the need for distributed learning and optimization algorithms with low communication cost, we study communication efficient algorithms for distributed mean estimation. Unlike previous works, we make no probabilistic assumptions on the data. We first show that for $d$ dimensional data with $n$ clients, a naive stochastic binary rounding approach yields a mean squared error (MSE) of $Θ(d/n)$ and uses a constant number of bits per dimension per client. We then extend this naive algorithm in two ways: we show that applying a structured random rotation before quantization reduces the error to $\mathcal{O}((\log d)/n)$ and a better coding strategy further reduces the error to $\mathcal{O}(1/n)$ and uses a constant number of bits per dimension per client. We also show that the latter coding strategy is optimal up to a constant in the minimax sense i.e., it achieves the best MSE for a given communication cost. We finally demonstrate the practicality of our algorithms by applying them to distributed Lloyd's algorithm for k-means and power iteration for PCA.

研究の動機と目的

• データ分布を仮定せず、低い通信コストで分散型平均推定を動機づける。
• 固定された通信予算の下でミニマックス均方誤差（MSE）を研究する。
• MSEを最小化するための複数の量子化および符号化方式を開発・比較する。
• アルゴリズムを分散LloydのアルゴリズムとPCAのべき反復へ適用して実用性を示す。

提案手法

• ベースラインとして確率的一様量子化から開始。
• MSEを削減するためにkレベルの確率的量子化を導入。
• 量子化前のランダム回転を介してさらにMSEを削減する確率的回転量子化を適用。
• 量子化レベルを圧縮するために可変長符号化（算術/ハフマン）を使用。
• 通信とMSEのトレードオフを図るためにクライアントサンプリングを組み込む。
• ミニマックス下界を証明し、定数まで最適性を示す。

実験結果

リサーチクエスチョン

• RQ1 分布仮定なしで、与えられた通信予算cの下で分散型平均推定の達成可能な最良MSEはどれか？
• RQ2 量子化前のランダム回転は固定通信コストでMSEを減らせるか？
• RQ3 分散型平均推定において、さまざまな量子化および符号化戦略はMSEと通信量の観点でどのように比較されるか？
• RQ4 提案された方式は、k-meansの分散LloydアルゴリズムやPCAのべき反復といった実用的なタスクへ効果的に適用拡張できるか？

主な発見

• 単純な確率的二値量子化は、各次元あたり定数ビットでMSEをTheta(d/n)にする。
• 確率的kレベル量子化は、固定されたX iの界限下でMSEをO(d/(n(k-1)^2))に改善し、通信はn·(d log2 k + O(1))ビット。
• ランダム回転を伴う確率的回転量子化は、同じ通信量でMSEをO((log d)/n)（定数まで）達成。
• 算術/ハフマン符号化による可変長符号化は、非回転量子化と同等のMSEを得つつ通信を削減し、k <= sqrt(d)の場合各クライアントあたりO(d)ビットを達成。
• 普遍的な定数t<1が存在し、c ≤ nd tのときミニマックスMSEはTheta(min(1, d/c))となり、通信と次元数との間で線形スケーリングを確立する。
• これらの方式は分散Lloydのアルゴリズム（k-means）とPCAのべき反復で実証される。