[論文レビュー] On Data Dependence in Distributed Stochastic Optimization

Avleen S. Bijral, Anand D. Sarwate+1 more|arXiv (Cornell University)|Mar 14, 2016

Stochastic Gradient Optimization Techniques参考文献 25被引用数 9

ひとこと要約

この論文は、分散型の共分散に基づく確率的勾配降下法を分析し、収束速度がネットワークのスペクトルギャップとデータ共分散行列のスペクトルノルムの両方に依存することを示している。データのスペクトルノルムが小さいデータセットでは性能が向上し、無限のデータを前提とした漸近的設定では、より多くのマシンを追加することで性能が向上することがある。特に、2回微分可能な損失関数に対して顕著である。

ABSTRACT

We study a distributed consensus-based stochastic gradient descent (SGD) algorithm and show that the rate of convergence involves the spectral properties of two matrices: the standard spectral gap of a weight matrix from the network topology and a new term depending on the spectral norm of the sample covariance matrix of the data. This data-dependent convergence rate shows that distributed SGD algorithms perform better on datasets with small spectral norm. Our analysis method also allows us to find data-dependent convergence rates as we limit the amount of communication. Spreading a fixed amount of data across more nodes slows convergence; for asymptotically growing data sets we show that adding more machines can help when minimizing twice-differentiable losses.

研究の動機と目的

• データ分布が分散型確率的最適化における収束に与える影響を理解すること。
• 分散型SGDにおける通信コストと収束速度のトレードオフを分析すること。
• データに依存する要因、特にデータ共分散行列のスペクトルノルムが収束速度に顕著に影響することを示すこと。
• 通信のオーバーヘッドが増加するにもかかわらず、より多くのマシンを追加することで性能が向上する条件を調査すること。
• 低通信と高通信の両状態を補間するデータ依存の収束バウンドを提供すること。

提案手法

• ノードが局所的なSGDステップを実行し、定期的に近隣ノードと平均化する分散型プライマル平均フレームワークを使用する。
• ネットワーク重み行列のスペクトルギャップと標本共分散行列のスペクトルノルムに依存する収束バウンドを用いて収束を分析する。
• 間欠的通信をモデル化するための通信頻度パラメータを導入し、データ依存の収束レートを導出する。
• Bianchiら（2012）の反復の漸近的正規性に関する結果を応用し、限界的なサブ最適性バウンドを導出する。
• ミニバッチ化により、通信が不規則な場合の収束への悪影響を軽減する。
• ヘッセ行列の逆行列のトレースと勾配ノイズ共分散のスペクトルノルムに比例するサブ最適性バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 データ共分散行列のスペクトルノルムは、分散型SGDにおける収束にどのように影響するか？
• RQ2 分散型設定において、マシン数を増加させると、どのような条件下で収束が改善するか？
• RQ3 間欠的通信は、共分散に基づくSGDの収束速度にどのように影響するか？
• RQ4 通信制限下での分散最適化に対して、データ依存のバウンドを導出できるか？
• RQ5 無限のデータを前提とした漸近的設定では、ネットワーク効果は消えるのか？ もし消えるなら、どのような条件下か？

主な発見

• 収束速度は、ネットワーク重み行列のスペクトルギャップとデータ共分散行列のスペクトルノルムの両方に依存する。
• 分散型SGDは、データ共分散行列のスペクトルノルムが小さいデータセットでより良好に動作する。
• 有限のデータとスパースな接続性の下では、データをより多くのノードに分散させると、通信距離の増加により収束が遅くなる。
• 無限のデータを前提とした漸近的設定では、2回微分可能な損失関数に対して、より多くのマシンを追加することで性能が向上する。
• ミニバッチ化により、通信が不規則な場合の影響を軽減でき、勾配の分散を低減できる。
• 限界的なサブ最適性バウンドは $ \frac{25\rho L^{2}}{m} \cdot \operatorname{Tr}(\nabla^{2}J({\bf w}^{*})^{-1}) \cdot \frac{G}{\mu} $ に比例する。ここで $ \rho $ はデータ共分散のスペクトルノルムである。