[論文レビュー] New Bounds For Distributed Mean Estimation and Variance Reduction

Peter Maxwell Davies, Vijaykrishna Gurunanthan+3 more|Durham Research Online (Durham University)|Feb 21, 2020

Privacy-Preserving Technologies in Data参考文献 36被引用数 4

ひとこと要約

本稿では、入力ベクトルのノルムに依存しない最適な通信誤差トレードオフを達成する、分散平均推定および分散低減のための格子ベースの量子化手法を提案する。格子理論と誤検出を活用することで、分散低減の誤差は入力の散らばり具合にのみ依存し、ノルムに依存しない。理論的境界はきわめて厳密であり、深層学習およびパワー反復ワークロードにおいて、先行手法に比べて実用的かつ顕著な改善を示す。

ABSTRACT

We consider the problem of distributed mean estimation (DME), in which $n$ machines are each given a local $d$-dimensional vector $x_v \in \mathbb{R}^d$, and must cooperate to estimate the mean of their inputs $μ= \frac 1n\sum_{v = 1}^n x_v$, while minimizing total communication cost. DME is a fundamental construct in distributed machine learning, and there has been considerable work on variants of this problem, especially in the context of distributed variance reduction for stochastic gradients in parallel SGD. Previous work typically assumes an upper bound on the norm of the input vectors, and achieves an error bound in terms of this norm. However, in many real applications, the input vectors are concentrated around the correct output $μ$, but $μ$ itself has large norm. In such cases, previous output error bounds perform poorly. In this paper, we show that output error bounds need not depend on input norm. We provide a method of quantization which allows distributed mean estimation to be performed with solution quality dependent only on the distance between inputs, not on input norm, and show an analogous result for distributed variance reduction. The technique is based on a new connection with lattice theory. We also provide lower bounds showing that the communication to error trade-off of our algorithms is asymptotically optimal. As the lattices achieving optimal bounds under $\ell_2$-norm can be computationally impractical, we also present an extension which leverages easy-to-use cubic lattices, and is loose only up to a logarithmic factor in $d$. We show experimentally that our method yields practical improvements for common applications, relative to prior approaches.

研究の動機と目的

• 入力ノルムに依存する従来の分散平均推定および分散低減手法の限界を解消し、入力が原点から離れている場合に性能が劣化することを防ぐ。
• 通信効率の高い分散平均推定手法を開発し、誤差境界が入力分散（入力間の距離）にのみ依存し、入力ノルムに依存しないようにする。
• 分散平均推定および分散低減において、所望の誤差低減を達成するための通信複雑度のタイトな理論的下界を確立する。
• 立方格子を用いた実用的インスタンスを設計し、次元の対数的損失のみで近似的に最適な性能を達成する。
• 分散SGD、ニューラルネットワーク学習、パワー反復などの実世界応用において、本手法の優位性を実証する。

提案手法

• 入力ベクトルの相対的位置に基づいて格子点にマップする格子ベースの量子化フレームワークを導入し、入力の散らばり具合に応じた最小量子化誤差を実現する。
• 格子の色分けと構造的符号化を用いて、最小限のビット数で機械間が量子化値を通信しつつ、平均推定の正確さを維持する。
• 格子幾何学と誤り訂正を用いて、量子化されたメッセージから平均推定値を復元する復号手順を設計する。
• 量子化スキームに誤検出を組み込み、分散低減における通信の適応的制御を可能にし、期待される性能を向上させる。
• 実装の観点から立方格子を活用し、次元dにおいて最適解から対数的要因の損失しか生じないことを示す。
• 勾配更新量や中間ベクトルのペアワイズ距離に基づいて、分散SGDおよびパワー反復に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 入力ベクトルのノルムに依存しない分散平均推定が可能か。特に、入力が原点から遠く離れている場合に有効か。
• RQ2 分散平均推定において、所定の分散低減要因を達成するための最適な通信複雑度は何か。
• RQ3 計算的に効率的な立方格子を用いた場合、格子ベースの量子化をどのように適応させれば近似的に最適性を維持できるか。
• RQ4 量子化における誤検出は、分散低減タスクにおける期待通信効率を向上させることができるか。
• RQ5 実用的な機械学習ワークロードにおいて、本手法は先行の最先端圧縮方式と比較してどのように優れているか。

主な発見

• 本稿では、入力ノルムに依存せず、分散平均推定においてq倍の分散低減を達成するためには、Θ(d log q)ビットが必須かつ十分であることを確立した。
• nノードにおける分散低減において、最適なΘ(n)倍の分散低減を達成するには、Θ(d log n)ビットが必要であり、下界も一致する。
• 提案手法である格子ベースの量子化は、立方格子を用いても、次元dにおいて対数的要因の損失のみで、近似的に最適な通信誤差トレードオフを達成する。
• 実験では、CIFAR-100におけるニューラルネットワーク学習において、LQSGDは4ビット量子化でQSGDやEF-SignSGDを上回る精度を達成した。
• パワー反復において、LQSGDおよびRLQSGDは、ノルムに基づくベースラインと比較して、特に入力ノルムが大きい場合に顕著に優れた固有ベクトル推定精度を示した。
• 本手法は、分散SGDおよび最小二乗回帰において実用的な分散低減を可能にし、合成的および実世界の設定の両方で、先行手法に比して一貫した改善を示した。