[論文レビュー] Randomized Distributed Mean Estimation: Accuracy vs Communication

Jakub Konečný, Peter Richtárik|arXiv (Cornell University)|Nov 22, 2016

Stochastic Gradient Optimization Techniques被引用数 3

ひとこと要約

本稿では、統計的仮定なしに通信コストと推定誤差のトレードオフをバランスさせる、柔軟な確率的分散平均推定アルゴリズムの族を提案する。ノード固有の中心を持つパrameterized確率的符号化を用いることで、1座標あたり1ビットの通信量でO(r/n)の平均二乗誤差を達成し、次世代の手法に比して次元に依存する対数的依存性を排除し、計算コストも低減する。

ABSTRACT

We consider the problem of estimating the arithmetic average of a finite collection of real vectors stored in a distributed fashion across several compute nodes subject to a communication budget constraint. Our analysis does not rely on any statistical assumptions about the source of the vectors. This problem arises as a subproblem in many applications, including reduce-all operations within algorithms for distributed and federated optimization and learning. We propose a flexible family of randomized algorithms exploring the trade-off between expected communication cost and estimation error. Our family contains the full-communication and zero-error method on one extreme, and an $\epsilon$-bit communication and ${\cal O}\left(1/(\epsilon n) ight)$ error method on the opposite extreme. In the special case where we communicate, in expectation, a single bit per coordinate of each vector, we improve upon existing results by obtaining $\mathcal{O}(r/n)$ error, where $r$ is the number of bits used to represent a floating point value.

研究の動機と目的

• 統計的仮定なしに、分散平均推定における通信コストと推定誤差のトレードオフを解消すること。
• 完全通信によるゼロ誤差から低通信による高誤差に至る極端な間を滑らかに補間できる、柔軟な確率的アルゴリズム族を設計すること。
• Sureshら[10]のような既存手法を改善し、次元に依存する対数的依存性を排除するとともに、計算コストを低減すること。
• ランダム回転とk進符号化による事前処理が、さらに誤差低減に与える影響を調査すること。

提案手法

• 各座標を確率的に符号化するパrameterized家族の符号化プロトコルを提案し、送信前にベクトルを圧縮する。確率pijとノード中心µiを用いる。
• 期待値を保持しつつ通信量を削減するため、各座標を確率的に符号化する不偏な符号化方式を採用する。
• サーバーでの復元に単純な平均化デコーダーを用い、真の平均を不偏に推定することを保証する。
• 符号化成分の分散から導かれる閉形式の式を用いて、平均二乗誤差（MSE）を分析する。
• より高次の量子化を可能にするために、2進符号化のk進一般化を導入し、潜在的に低いMSEを実現する。
• 符号化のためのデータ構造を改善し、期待MSEを低減するために、ランダム回転による事前処理の影響を検討する。

実験結果

リサーチクエスチョン

• RQ1 既存の手法よりも低い平均二乗誤差を達成しつつ、低通信コストを維持できる確率的分散平均推定手法は存在するか？
• RQ2 次元に依存する対数的依存性を排除することで、高次元設定下での性能向上が達成されるか？
• RQ3 ランダム回転による事前処理が、提案フレームワークにおける期待MSEを低減できるか？
• RQ4 符号化確率とノード中心の最適化が、通信-誤差トレードオフに与える影響は何か？
• RQ5 2進符号化に比べてk進符号化を用いることで、分散平均推定に利点があるか？

主な発見

• 1座標あたり1ビットの通信量で、1つの浮動小数点値に必要なビット数rを用いて、O(r/n)の平均二乗誤差を達成する。
• この境界は次元dに依存せず、Sureshら[10]のO(d log d / n)の依存性を改善する。
• 本手法はdに関して線形であるが、Sureshらは回転事前処理のためO(d log d)の時間が必要である。
• 確率とノード中心の最適化によりMSEをさらに低減可能であるが、閉形式解は低通信領域でのみ存在する。
• ランダム回転による事前処理はMSEを顕著に低減でき、最適符号化と組み合わせることでさらなる改善が得られる可能性がある。
• k進符号化の一般化は、MSEをさらに低減する可能性を秘めているが、通信量の増加を伴う。