[論文レビュー] Distributed Learning with Sublinear Communication

Jayadev Acharya, Christopher De+2 more|arXiv (Cornell University)|Feb 28, 2019

Distributed Sensor Networks and Detection Algorithms被引用数 17

ひとこと要約

本稿では、ミラー降下と確率的スプライシフィケーションおよび量子化を組み合わせることで、次元に線形でない通信量を達成する分散学習アルゴリズムを提案する。緩い有界性仮定—具体的には、標準的な ℓ₁ や ℓ₂ 約束ではなく、シュタット-p ノルムを用いることにより、通信量を次元 d に対して対数的依存にまで低減でき、高次元学習を効率的に行えることを示している。

ABSTRACT

In distributed statistical learning, $N$ samples are split across $m$ machines and a learner wishes to use minimal communication to learn as well as if the examples were on a single machine. This model has received substantial interest in machine learning due to its scalability and potential for parallel speedup. However, in high-dimensional settings, where the number examples is smaller than the number of features ("dimension"), the speedup afforded by distributed learning may be overshadowed by the cost of communicating a single example. This paper investigates the following question: When is it possible to learn a $d$-dimensional model in the distributed setting with total communication sublinear in $d$? Starting with a negative result, we show that for learning $\ell_1$-bounded or sparse linear models, no algorithm can obtain optimal error until communication is linear in dimension. Our main result is that that by slightly relaxing the standard boundedness assumptions for linear models, we can obtain distributed algorithms that enjoy optimal error with communication logarithmic in dimension. This result is based on a family of algorithms that combine mirror descent with randomized sparsification/quantization of iterates, and extends to the general stochastic convex optimization model.

研究の動機と目的

• 分散学習が次元 d に対して通信量が次元に線形でない条件下で最適な過剰リスクを達成できるかを調査すること。
• 特に N ≪ d の場合に顕著な通信のボトル neck を抱える分散機械学習における高次元通信の実用的課題に対処すること。
• 標準的な ℓ₁- や ℓ₂ 有界モデルでは、最適な誤差を達成するためには線形通信量が必要であるという制限を克服すること。
• 高次元設定においても統計的最適性を維持する通信効率の良いアルゴリズムを開発すること。
• 線形モデルにとどまらない一般の確率的凸最適化問題へのフレームワークの拡張すること。

提案手法

• ミラー降下に基づくアルゴリズムの族を提案し、モデル反復の確率的スプライシフィケーションと量子化を組み合わせる。
• より良い通信-精度トレードオフを実現するため、正則化子としてシュタット-p ノルム（‖W‖_{S_p}）を用いる。
• モアレイのスプライシフィケーション法を用い、1反復あたり s ≈ log d 個の座標に勾配またはモデルパラメータを圧縮する。
• p ≤ 2 の場合にシュタット-p 正則化子が強い凸性を示すことを活用し、収束保証を維持する。
• ブレグマンダイバージェンス解析を用いて、スプライシフィケーションと量子化によって生じる誤差を制限する。
• ブレグマンダイバージェンスの期待値のずれを制御することで、1反復あたりの通信複雑度を O(log d) に保証する。

実験結果

リサーチクエスチョン

• RQ1 次元 d に対して通信量が次元に線形でない分散学習で、最適な過剰リスクを達成できるか？
• RQ2 高次元設定において線形通信の障壁を打ち破るためには、モデルパラメータにどのような構造的仮定が必要か？
• RQ3 緩いノルム制約の下でミラー降下において、スプライシフィケーションと量子化をどのように設計すれば統計的精度を維持できるか？
• RQ4 ℓ₁ 有界またはスパース線形モデルに対して、通信量を d の対数関数に抑えることで最適収束レートを達成できるか？
• RQ5 このフレームワークは、線形モデルにとどまらず、一般の確率的凸最適化問題へ拡張可能か？

主な発見

• ℓ₁ 有界またはスパース線形モデルでは、最適な誤差を達成するためには、次元 d に対して線形通信量が必要である—これは避けられない。
• 有界性仮定を p ≤ 2 のシュタット-p ノルムに緩和することで、次元 d に対して対数的依存の通信量で最適な過剰リスクを達成可能である。
• 提案されたアルゴリズムは、通信複雑度 O(log d) を達成し、過剰リスクが O(√(B₁²R_q²C_q / N)) に抑えられ、集中型 ERM のレートと一致する。
• 解析により、スプライシフィケーションによって生じる期待ブレグマンダイバージェンス誤差が、s ≈ log d のとき O(B² / s^{(p-1)/2}) の速度で減少することが示された。
• 適切な正則化子とスプライシフィケーション方式を用いることで、一般の確率的凸最適化問題へも拡張可能である。
• 実験結果から、全通信ベースラインと比較して統計的性能を維持しながら、通信量を著しく削減できることが示唆された。