[論文レビュー] Distributed Mean Estimation with Optimal Error Bounds.

Dan Alistarh, Saleh Ashkboos+1 more|arXiv (Cornell University)|Feb 21, 2020

Stochastic Gradient Optimization Techniques被引用数 1

ひとこと要約

本稿では、入力ベクトルのノルムに依存しない最適な誤差バウンドを達成する、分散平均推定のための新しい量子化ベースの手法を提案する。これにより、誤差は入力の分散にのみ依存し、ノルムに依存しない。分散低減とノルム依存性の分離により、通信レジームにかかわらず優れた性能を発揮でき、理論的保証と先行手法に対する実験的改善を実現する。

ABSTRACT

We consider the problem of distributed variance reduction: $n$ machines each receive probabilistic estimates of an unknown true vector $\Delta$, and must cooperate to find a common estimate of $\Delta$ with lower variance, while minimizing communication. Variance reduction is closely related to the well-studied problem of distributed mean estimation, and is a key procedure in instances of distributed optimization, such as data-parallel stochastic gradient descent. Previous work typically assumes an upper bound on the norm of the input vectors, and achieves an output variance bound in terms of this norm. However, in real applications, the input vectors can be concentrated around the true vector $\Delta$, but $\Delta$ itself may have large norm. In this case, output variance bounds in terms of input norm perform poorly, and may even increase variance. In this paper, we show that output variance need not depend on input norm. We provide a method of quantization which allows variance reduction to be performed with solution quality dependent only on input variance, not on input norm, and show an analogous result for mean estimation. This method is effective over a wide range of communication regimes, from sublinear to superlinear in the dimension. We also provide lower bounds showing that in many cases the communication to output variance trade-off is asymptotically optimal. Further, we show experimentally that our method yields improvements for common optimization tasks, when compared to prior approaches to distributed mean estimation.

研究の動機と目的

• 真のベクトルのノルムが大きい場合に性能が著しく低下する、従来の分散平均推定手法のノルム依存性という限界を是正すること。
• 分散低減が入力の分散にのみ依存し、ノルムに依存しないようにする量子化スキームを設計し、実世界の応用におけるロバストネスを向上させること。
• 次元数に対して部分線形から超線形の通信レジームにわたり、通信量と誤差のトレードオフが漸近的に最適となるようにすること。
• 先行手法と比較して、データ並列なSGDなどの分散最適化タスクにおいて、実験的に改善が得られることを示すこと。

提案手法

• 入力ベクトルの分散構造を保ちつつ通信量を最小化する、新しい量子化メカニズムを導入する。
• マシン同士が量子化された推定値を通信する分散平均化プロトコルを採用し、推定精度を損なわずに通信コストを削減する。
• 出力分散が真のベクトルΔのノルムに依存せず、入力分散にのみ依存することを示す理論的バウンドを導出する。
• 次元数に対して部分線形から超線形の通信予算に適応可能な通信効率の高いプロトコルを設計する。
• 入力ベクトルのノルムが大きくても、Δのまわりに集中している場合でも推定の正確性を維持できる、分散に配慮した量子化戦略を採用する。
• 通信量と分散のトレードオフに関する下界を確立し、多くのレジームで本手法の漸近的最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 真のベクトルΔのノルムに依存しない誤差バウンドで分散平均推定が可能か？
• RQ2 入力分散にのみ依存し、入力ノルムに依存しない量子化スキームを設計可能か？
• RQ3 分散平均推定における通信量と出力分散の最適なトレードオフは何か？ そして、それを達成可能か？
• RQ4 本手法は、次元数に対して部分線形から超線形の通信レジームにわたり、どのように性能を発揮するか？
• RQ5 本手法は、データ並列なSGDのような実用的分散最適化ワークロードにおいて、測定可能な改善をもたらすか？

主な発見

• 提案手法は、出力分散が真のベクトルΔのノルムに依存せず、入力分散にのみ依存することを達成し、先行手法の主要な限界を解消する。
• 理論的下界により、多くの通信レジームで通信量と誤差のトレードオフが漸近的に最適であることが確認された。
• 実験的結果から、データ並列な確率的勾配降下法における収束速度の向上など、分散最適化タスクで測定可能な改善が得られた。
• 量子化スキームにより、入力ベクトルのノルムが大きくても分散が小さい場合でも、効果的な分散低減が可能である。
• 通信レジームにかかわらず、部分線形から超線形の通信設定まで、本手法は強力な性能を維持する。
• 理論的分析により、多くの設定で本手法の通信効率を漸近的に向上させることは不可能であることが確認され、最適性が確立された。