[論文レビュー] Decentralised Learning with Random Features and Distributed Gradient Descent

Dominic Richards, Patrick Rebeschini+1 more|arXiv (Cornell University)|Jul 1, 2020

Stochastic Gradient Optimization Techniques被引用数 8

ひとこと要約

本稿では、ランダム特徴量と分散勾配降下法を用いた分散型カーネル回帰アルゴリズムを提案する。これにより、ネットワークに接続されたエージェント間で、効率的かつメモリ負荷の低い学習が可能になる。一般化誤差のミニマックス最適バウンドを確立し、ネットワークサイズに線形にスケーリングされる。データ量がネットワーク構造に対して十分に多い場合には、実行時間に線形な高速化が達成される。

ABSTRACT

We investigate the generalisation performance of Distributed Gradient Descent with Implicit Regularisation and Random Features in the homogenous setting where a network of agents are given data sampled independently from the same unknown distribution. Along with reducing the memory footprint, Random Features are particularly convenient in this setting as they provide a common parameterisation across agents that allows to overcome previous difficulties in implementing Decentralised Kernel Regression. Under standard source and capacity assumptions, we establish high probability bounds on the predictive performance for each agent as a function of the step size, number of iterations, inverse spectral gap of the communication matrix and number of Random Features. By tuning these parameters, we obtain statistical rates that are minimax optimal with respect to the total number of samples in the network. The algorithm provides a linear improvement over single machine Gradient Descent in memory cost and, when agents hold enough data with respect to the network size and inverse spectral gap, a linear speed-up in computational runtime for any network topology. We present simulations that show how the number of Random Features, iterations and samples impact predictive performance.

研究の動機と目的

• 中央集約センターのない分散型カーネル回帰の課題に対処すること。エージェントは、局所的に保持するデータから協調的に学習する必要がある。
• ランダム特徴量を活用することで、エージェント間で共通の関数表現を実現し、分散型カーネル手法におけるメモリとパラメータ化の障壁を克服すること。
• 分散型ネットワーク環境下で、暗黙の正則化を伴う分散勾配降下法の一般化誤差に高い確率でのバウンドを提供すること。
• 標準的なソース仮定と容量仮定の下で、合計ネットワークサンプル数に関してミニマックスレートを達成することで、手法の統計的最適性を確立すること。
• 単一マシン学習と比較して、計算実行時間に線形な高速化とメモリコストの線形削減を達成できることを示すこと。

提案手法

• アルゴリズムは、入力データを有限次元空間に写像するランダム特徴量を用いる。これにより、エージェント間で共通のパラメータ化が可能になり、中央集約モデルの必要性がなくなる。
• 分散勾配降下法をランダム特徴量空間上で適用し、二重確率的通信行列を介してエージェントが隣接エージェントとの通信に基づき局所モデルを更新する。
• ステップサイズと反復回数を制御することで、明示的なペナルティ項なしにモデルの複雑さを制御する暗黙の正則化を達成する。
• ランダム特徴量空間におけるRepresenter定理を活用し、解が有限次元部分空間に留まるように保証することで、効率的な計算を可能にする。
• 反復の各ステップを平均成分と逸脱成分に分解し、通信行列の固有値性質を用いて収束性と一般化性能を分析する。
• 一般化誤差の高確率バウンドは、通信行列の逆スペクトルギャップとランダム特徴量近似誤差を制御することで、個々のエージェントがネットワーク平均からどれほど逸脱するかを制御することによって導出される。

実験結果

リサーチクエスチョン

• RQ1 中央集約センターが存在しない状況でも、分散型カーネル回帰を効率的かつ安定して実装できるか？
• RQ2 ランダム特徴量の数が分散ネットワークにおける一般化性能に与える影響は何か？
• RQ3 通信行列の逆スペクトルギャップとして測定されるネットワークトポロジーの影響は、学習収束性と誤差にどのような影響を及えるか？
• RQ4 合計データ量に関してミニマックス最適な統計的レートを分散環境で達成できるか？
• RQ5 アルゴリズムは、集中学習と比較して、実行時間に線形な高速化とメモリコストの削減を提供できるか？

主な発見

• 標準的なソース仮定と容量仮定の下で、提案手法はネットワーク内における合計サンプル数に関してミニマックス最適な一般化誤差レートを達成する。
• 予測性能に関する高確率バウンドが確立され、ステップサイズ、反復回数、通信行列の逆スペクトルギャップ、ランダム特徴量の数に明示的に依存する。
• ランダム特徴量の使用により、単一マシンカーネル手法と比較して、メモリコストに線形の削減が達成される。
• 各エージェントがネットワークサイズおよび逆スペクトルギャップに対して十分なデータを保持している場合、任意のネットワークトポロジーにおいて、計算実行時間に線形な高速化が達成される。
• シミュレーションにより、予測性能がランダム特徴量の数、反復回数、局所データ量の増加に伴い向上することが確認され、理論的バウンドと整合的である。
• 分析から、個々のエージェントがネットワーク平均から逸脱する度合いは、通信行列のスペクトルギャップによって制御され、より接続性の高いネットワークでは収束が速いことが示された。