[論文レビュー] Distributed Variance Reduction with Optimal Communication

Peter Maxwell Davies, Vijaykrishna Gurunathan+3 more|arXiv (Cornell University)|Feb 21, 2020

Stochastic Gradient Optimization Techniques参考文献 11被引用数 8

ひとこと要約

本稿では、出力分散を入力ベクトルノルムから分離することで、あらゆるスケールで最適な通信効率を達成する、新しい分散型分散低減手法を提案する。ノルムに依存しない量子化方式を導入することで、出力分散が入力分散にのみ依存するようになり、大規模なノルムに対して性能が著しく劣る従来手法を上回る。

ABSTRACT

We consider the problem of distributed variance reduction: $n$ machines each receive probabilistic estimates of an unknown true vector $\Delta$, and must cooperate to find a common estimate of $\Delta$ with lower variance, while minimizing communication. Variance reduction is closely related to the well-studied problem of distributed mean estimation, and is a key procedure in instances of distributed optimization, such as data-parallel stochastic gradient descent. Previous work typically assumes an upper bound on the norm of the input vectors, and achieves an output variance bound in terms of this norm. However, in real applications, the input vectors can be concentrated around the true vector $\Delta$, but $\Delta$ itself may have large norm. In this case, output variance bounds in terms of input norm perform poorly, and may even increase variance. In this paper, we show that output variance need not depend on input norm. We provide a method of quantization which allows variance reduction to be performed with solution quality dependent only on input variance, not on input norm, and show an analogous result for mean estimation. This method is effective over a wide range of communication regimes, from sublinear to superlinear in the dimension. We also provide lower bounds showing that in many cases the communication to output variance trade-off is asymptotically optimal. Further, we show experimentally that our method yields improvements for common optimization tasks, when compared to prior approaches to distributed mean estimation.

研究の動機と目的

• 従来の分散型分散低減手法が、入力ベクトルノルムが大きい場合に性能が著しく劣るという限界を解消すること。
• 出力分散が入力ノルムに依存せず、入力分散にのみ依存する通信効率の高い手法を設計すること。
• 通信-分散トレードオフの理論的下界を確立し、多くのスケールで漸近的に最適であることを証明すること。
• データ並列SGDのような一般的な最適化タスクにおいて、実験的に優れた性能を示すこと。

提案手法

• 出力分散が入力ベクトルノルムに依存しない新しい量子化方式を提案する。
• 入力ノルムに依存しない分散低減プロトコルを導入し、部分線形から超線形の通信スケールにわたり効果的に動作する。
• ランダム化量子化メカニズムを用いて、分散の性質を保持しつつ通信量を最小限に抑える。
• 分散平均推定にこの手法を適用し、性能保証が同等であることを示す。
• 通信複雑度と出力分散の理論的境界を導出し、多くのスケールで最適性を証明する。
• 量子化更新を用いた再帰的平均化戦略を採用し、通信制限下でも精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 分散システムにおける分散低減を、真のベクトルのノルムが大きい場合でも、入力ベクトルノルムに依存しないようにできるか？
• RQ2 分散平均推定において、通信コストと出力分散の最適なトレードオフは何か？
• RQ3 量子化に基づく手法が、さまざまな通信スケールにおいて通信-分散トレードオフで漸近的に最適性を達成できるか？
• RQ4 提案手法は、実世界の最適化ワークロードにおいて、従来手法と比較してどのように評価されるか？

主な発見

• 提案手法は、出力分散が真のベクトルΔのノルムに依存せず、入力分散にのみ依存することを達成した。
• 理論的下界により、多くのスケールで通信-分散トレードオフが漸近的に最適であることが確認された。
• 実験結果から、データ並列SGDのような分散最適化タスクにおいて、従来手法よりも一貫した性能向上が得られた。
• 本手法は、次元に対して部分線形から超線形の広い通信スケールすべてにおいて有効である。
• 量子化が、入力ベクトルがΔのまわりに集中している場合でさえ、ノルム依存の分散の増大を効果的に排除できることを示した。
• 理論的分析により、本手法が分散型分散低減における通信効率の根本的限界に一致することが確認された。