[論文レビュー] The Min-Max Complexity of Distributed Stochastic Convex Optimization with Intermittent Communication

Blake Woodworth, Brian Bullins+2 more|arXiv (Cornell University)|Feb 2, 2021

Stochastic Gradient Optimization Techniques参考文献 49被引用数 11

ひとこと要約

この論文は、間欠的通信下での分散型確率的凸最適化のミニマックス複雑度を解消し、各ラウンドで全マシンを用いるミニバッチ加速SGDまたは1台のマシンのみを用いるシングルマシン加速SGDが、対数要因を除いて最適であることを証明する。主な結果は、並列処理と局所計算の両方を活用するより洗練された手法が、滑らかな凸目的関数において収束速度を向上させることができないことを示している。

ABSTRACT

We resolve the min-max complexity of distributed stochastic convex optimization (up to a log factor) in the intermittent communication setting, where $M$ machines work in parallel over the course of $R$ rounds of communication to optimize the objective, and during each round of communication, each machine may sequentially compute $K$ stochastic gradient estimates. We present a novel lower bound with a matching upper bound that establishes an optimal algorithm.

研究の動機と目的

• M台のマシンがR回のみ通信する間欠的通信モデルにおける分散型確率的凸最適化の根本的ミニマックス複雑度を特定すること。
• 通信頻度Rと1ラウンドあたりの局所計算量Kの両方が収束に与える影響を解明すること。先行の下界はKRにのみ依存していたが、RとKの独立的影響の有無を解消すること。
• 単純なミニバッチやシングルマシン手法を越える、より洗練されたアルゴリズムが収束速度を向上させられるかどうかを確立すること。
• 上界と一致するタイトな下界を提供することで、対数要因を除いて最適なアルゴリズム的領域を同定すること。
• 自己調和性および準自己調和性が、特に高階の滑らかさに関連して複雑度に与える影響を分析すること。

提案手法

• 自己調和的または準自己調和的で曲率と勾配ノイズを制御可能な目的関数を用いたハードインスタンスの構築に基づく、新規な下界技術を開発する。
• 分散型間欠的通信の制約を形式化するため、ゼロ・リスペクティングオракルモデルを用い、各マシンが1ラウンドあたりK個の確率的勾配を計算し、全マシンがRラウンドごとに同期通信する設定を定式化する。
• AC-SA（加速確率的近似）法を基本的なアルゴリズムプリミティブとして用い、全M台のマシンを1ラウンドで使用するミニバッチAC-SAと、1台のマシンのみでKRステップを実行するシングルマシンAC-SAの両方を分析する。
• H（滑らかさ）、B（最適値までの初期距離）、σ（勾配ノイズ）、K（1ラウンドあたりの勾配数）、R（通信ラウンド数）、M（マシン数）に依存する、サブ最適性の下界を導出する。Q自己調和的およびQ準自己調和的目的関数の両方について別々の下界を提示する。
• 滑らかさパラメータH' ≤ Hについて下界を最適化することで、結果をタイトにする。最悪ケースの収束速度が、KR、R、M、Kに依存する複数の項の最小値によって決定されることを示す。
• 下界と一致する上界を示すことで、より良い方の単純な手法（ミニバッチまたはシングルマシンAC-SA）が、対数要因を除いて下界を達成できることを証明する。

実験結果

リサーチクエスチョン

• RQ1 分散型確率的凸最適化の最適収束速度は、通信ラウンド数Rと1ラウンドあたりの勾配数Kを別々に依存するのか、それともその積KRにのみ依存するのか？
• RQ2 並列処理と局所計算の両方を活用するより洗練されたアルゴリズムが、間欠的通信モデルにおいて、ミニバッチやシングルマシンSGDよりも優れた収束速度を達成できるか？
• RQ3 滑らかで凸な確率的最適化の根本的ミニマックス複雑度は、対数要因を除いてどのように特定されるか？
• RQ4 目的関数の自己調和性および準自己調和性の性質が、分散環境における収束速度にどのように影響を与えるか？
• RQ5 一般の滑らかな凸目的関数に対して、1回の通信（R=1）で最適な収束速度を達成できるか？

主な発見

• 間欠的通信下での分散型確率的凸最適化のミニマックス複雑度は、対数要因を除いてタイトに特定されており、下界が達成可能な最良の収束速度と一致する。
• 下界は、問題パラメータに応じて3つの項の最小値によって決定され、$\frac{HB^2}{K^2R^2}$、$\min\left\{\frac{\sigma B}{\sqrt{MKR}}, HB^2\right\}$、および$\min\left\{\frac{HB^2}{R^2\log^2 M}, \frac{Q^4\sigma^4 B^2}{H^7 K^2 R^2}, \frac{\sigma B}{\sqrt{KR}}\right\}$である。
• Q自己調和的目的関数の場合、最適な収束速度は$\Omega\left(\frac{HB^2}{K^2R^2} + \min\left\{\frac{\sigma B}{\sqrt{MKR}}, HB^2\right\} + \min\left\{\frac{HB^2}{R^2\log^2 M}, \frac{Q^2\sigma^2 B^2}{K R^2 \log M}, \frac{\sigma B}{\sqrt{KR}}\right\}\right)$である。
• Q準自己調和的目的関数の場合、最適な収束速度は$\Omega\left(\frac{HB^2}{K^2R^2} + \min\left\{\frac{\sigma B}{\sqrt{MKR}}, HB^2\right\} + \min\left\{\frac{HB^2}{R^2\log^2 M}, \frac{Q\sigma B^2}{\sqrt{K} R^2 \log^{3/2} M}, \frac{\sigma B}{\sqrt{KR}}\right\}\right)$である。
• 分析により、ミニバッチ加速SGDおよびシングルマシン加速SGDは、収束速度の観点から改善できないことが証明され、より良い方の手法が対数要因を除いて最適であることが示された。
• この結果は、一般の滑らかな凸目的関数に対して、並列処理と局所計算の両方を活用するより複雑なアルゴリズムが、これらの単純な戦略を上回る最悪ケースの保証を得られないことを示唆している。