[論文レビュー] Statistically Preconditioned Accelerated Gradient Method for Distributed Optimization

Hadrien Hendrikx, Lin Xiao+3 more|arXiv (Cornell University)|Feb 25, 2020

Stochastic Gradient Optimization Techniques参考文献 34被引用数 16

ひとこと要約

本稿では、分散型経験的リスク最小化のための統計的プリコンディショニング付き加速勾配法（SPAG）を提案する。中央サーバーは、局所的に計算されたヘッセ行列近似を用いて勾配をプリコンディショニングし、通信ラウンド数を削減する。この手法は、グローバル損失関数とローカル損失関数の相対的条件数の平方根に依存する収束速度を達成し、標準的手法と比較して、劣悪な条件数を持つ設定でも顕著に性能向上を示す。

ABSTRACT

We consider the setting of distributed empirical risk minimization where multiple machines compute the gradients in parallel and a centralized server updates the model parameters. In order to reduce the number of communications required to reach a given accuracy, we propose a \emph{preconditioned} accelerated gradient method where the preconditioning is done by solving a local optimization problem over a subsampled dataset at the server. The convergence rate of the method depends on the square root of the relative condition number between the global and local loss functions. We estimate the relative condition number for linear prediction models by studying \emph{uniform} concentration of the Hessians over a bounded domain, which allows us to derive improved convergence rates for existing preconditioned gradient methods and our accelerated method. Experiments on real-world datasets illustrate the benefits of acceleration in the ill-conditioned regime.

研究の動機と目的

• 局所的損失関数とグローバル損失関数の間の統計的類似性を活用して、分散型経験的リスク最小化における通信複雑度を低減すること。
• 標準的一階法が収束が遅くなるような劣悪な条件数を持つ問題における収束速度の向上。
• サーバーでサブサンプルデータ上での局所最適化に基づくプリコンディショニング戦略の開発。これにより、最小限の通信オーバーヘッドで高速収束が可能になる。
• 有界領域上でのヘッセ行列の一様集中を用いたグローバル損失とローカル損失の相対的条件数の理論的分析。これにより、よりタイトな収束バウンディングが可能になる。

提案手法

• 本手法は、基準関数φをローカル損失関数に二次正則化を加えることで構築する、ブレグマン発散に基づくプリコンディショニングフレームワークを用いる。
• 各イテレーションで、サーバーはサブサンプルデータ上で局所最適化問題を解き、グローバル損失のヘッセ行列を近似するプリコンディショナを計算する。
• アルゴリズムは、プリコンディショニングされた勾配ステップにネステロフ風の加速を適用し、通信ラウンド数の観点からO(√κ_F/φ log(1/ε))の収束速度を達成する。
• ラインサーチメカニズムにより、ゲインパラメータG_tが相対的滑らかさと安定性を保証するように動的に調整される。G_t = 1のとき、通信コストは最小限に抑えられる。
• 本手法は、有界領域上でのヘッセ行列の一様集中に関する理論的分析に裏打ちされており、線形予測モデルにおける相対的条件数の推定が可能になる。
• 本手法は、ワーカーが局所勾配を計算し、それらをサーバーに送信してモデル更新を行う、中央集権型サーバー・ワーカーアーキテクチャで実装される。

実験結果

リサーチクエスチョン

• RQ1 局所的損失関数とグローバル損失関数の間の統計的類似性を活用して、分散最適化における通信複雑度を低減できるか？
• RQ2 局所ヘッセ行列近似に基づくプリコンディショニングは、劣悪な条件数を持つ分散問題における収束をどのように改善できるか？
• RQ3 グローバル損失とローカル損失の相対的条件数と、プリコンディショニング付き加速手法の収束速度との理論的関係は何か？
• RQ4 局所部分問題の解法の精度が、プリコンディショニング付き加速手法の性能にどのように影響するか？
• RQ5 ラインサーチによる適応的ゲイン選択は、通信コストを増加させることなく収束を維持できるか？

主な発見

• SPAGの収束速度は、グローバル損失関数とローカル損失関数の相対的条件数の平方根に依存し、通信効率の向上が達成される。
• 線形予測モデルでは、ヘッセ行列の一様集中により相対的条件数が有界であることが示され、収束速度の向上に関する理論的裏付けが得られる。
• 実世界のデータセットを用いた実験では、SPAGはDANEやHB-DANEと比較して、特に劣悪な条件数の領域でより速い収束を達成する。
• 実際の計算では、初期化が悪くてもゲインパラメータG_tは小さく（しばしば≤1）保たれる。これは、最適解から離れている領域ではヘッセ行列の変化が遅いため、特にロジスティック回帰において顕著である。
• G_min = 0のラインサーチを用いることで適応性がわずかに向上するが、反復回数の削減には顕著な効果がない。これは、G_t = 1が十分であり、通信効率的であることを示唆している。
• 異なる初期化値においても、部分的最適性曲線はほぼ同一であり、高次元設定における二次ペナルティ項の支配的影響により、ロバスト性が保証されている。