[論文レビュー] Optimal Statistical Rates for Decentralised Non-Parametric Regression with Linear Speed-Up

Dominic Richards, Patrick Rebeschini|arXiv (Cornell University)|Jan 1, 2019

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿は、分散型勾配降下法を用いた非パラメトリック回帰における最適な統計的レートを確立し、エージェントごとの十分なデータ量がある場合、通信遅延が低い限り、実行時間における線形スケーリング（線形スピードアップ）が達成され、集中型の性能と一致することを示している。主な洞察は、統計的集中性のおかげで、反復回数がネットワークのトポロジーに依存しなくなる大規模データ領域が存在することである。これは、従来の分散型手法とは対照的である。

ABSTRACT

We analyse the learning performance of Distributed Gradient Descent in the context of multi-agent decentralised non-parametric regression with the square loss function when i.i.d. samples are assigned to agents. We show that if agents hold sufficiently many samples with respect to the network size, then Distributed Gradient Descent achieves optimal statistical rates with a number of iterations that scales, up to a threshold, with the inverse of the spectral gap of the gossip matrix divided by the number of samples owned by each agent raised to a problem-dependent power. The presence of the threshold comes from statistics. It encodes the existence of a big data regime where the number of required iterations does not depend on the network topology. In this regime, Distributed Gradient Descent achieves optimal statistical rates with the same order of iterations as gradient descent run with all the samples in the network. Provided the communication delay is sufficiently small, the distributed protocol yields a linear speed-up in runtime compared to the single-machine protocol. This is in contrast to decentralised optimisation algorithms that do not exploit statistics and only yield a linear speed-up in graphs where the spectral gap is bounded away from zero. Our results exploit the statistical concentration of quantities held by agents and shed new light on the interplay between statistics and communication in decentralised methods. Bounds are given in the standard non-parametric setting with source/capacity assumptions.

研究の動機と目的

• 分散型非パラメトリック回帰における分散型勾配降下法の統計的および通信効率を分析すること。
• 分散学習が集中型学習と同等の反復複雑度を達成する条件を特定すること。
• エージェントごとのデータ量とネットワークトポロジーが収束レートに与える影響を特定すること。
• 反復回数がギャッジ行列の固有値ギャップに依存しなくなる大規模データ領域を確立すること。

提案手法

• 各エージェントに独立同一分布の標本が割り当てられた、複数エージェントによる分散型設定において、二乗損失を用いた分散型勾配降下法を用いる。
• エージェントが保持する量の統計的集中性とギャッジ行列との相互作用を分析することで収束を検討する。
• 反復複雑度が、固有値ギャップの逆数を、エージェントごとの標本数の問題依存のべき乗で割ったものに比例することを導出する。
• ネットワークトポロジーが反復回数に影響しなくなる「大規模データ領域」を定義する閾値を導入する。
• 推定誤差をバインドするために、標準的な非パラメトリック仮定（ソース条件および容量条件）を採用する。
• 通信遅延が十分に低い場合、分散プロトコルが単一マシン学習と比較して実行時間において線形スピードアップを達成できることを示している。

実験結果

リサーチクエスチョン

• RQ1 分散型勾配降下法が分散型非パラメトリック回帰において最適な統計的レートを達成する条件は何か？
• RQ2 必要な反復回数は、ネットワークトポロジーやエージェントごとのデータ量にどのように依存するか？
• RQ3 ギャッジ行列の固有値ギャップに依存しない収束が実現される大規模データ領域が存在するか？
• RQ4 固有値ギャップがゼロから離れていることを要件としない状況でも、分散手法が実行時間において線形スピードアップを達成できるか？
• RQ5 エージェントが保持するデータの統計的集中性は、分散学習における通信効率にどのように影響するか？

主な発見

• エージェントがネットワークサイズに対して十分に多くの標本を保持する場合、分散型勾配降下法は最適な統計的レートを達成する。
• 大規模データ領域では、必要な反復回数がネットワークの固有値ギャップに依存しなくなり、集中型学習と一致する。
• 反復複雑度は、固有値ギャップの逆数を、エージェントごとの標本数の問題依存のべき乗で割ったものに比例するが、閾値までは成り立つ。
• 通信遅延が十分に低い場合、分散プロトコルは単一マシン学習と比較して実行時間において線形スピードアップを達成する。
• 結果から、統計的集中性と通信効率の間の根本的な相互作用が明らかになる。
• 分析により、望ましいデータおよび通信条件のもとで、分散アルゴリズムが反復回数において集中型性能に達することが確認された。