[論文レビュー] Distributed Optimization for Over-Parameterized Learning

Chi Zhang, Qianxiao Li|arXiv (Cornell University)|Jun 14, 2019

Stochastic Gradient Optimization Techniques参考文献 36被引用数 4

ひとこと要約

本稿は、過剰パラメータ化された学習における分散最適化フレームワークを提案し、各ノードがサーバーと通信する前に任意の数の局所更新（無限に至るまで）を実行できるようにする。局所最適集合が重なり合うという鍵となる仮定の下で、通信回数を削減しつつ収束を達成でき、凸最適化およびディープラーニングの両設定で顕著な通信コスト削減を実現する。

ABSTRACT

Distributed optimization often consists of two updating phases: local optimization and inter-node communication. Conventional approaches require working nodes to communicate with the server every one or few iterations to guarantee convergence. In this paper, we establish a completely different conclusion that each node can perform an arbitrary number of local optimization steps before communication. Moreover, we show that the more local updating can reduce the overall communication, even for an infinity number of steps where each node is free to update its local model to near-optimality before exchanging information. The extra assumption we make is that the optimal sets of local loss functions have a non-empty intersection, which is inspired by the over-paramterization phenomenon in large-scale optimization and deep learning. Our theoretical findings are confirmed by both distributed convex optimization and deep learning experiments.

研究の動機と目的

• 分散機械学習における通信ボトルneckを解消するため、収束を損なわずに長期間の局所更新フェーズを許容すること。
• 任意の局所最適化ステップ（無限ステップを含む）が分散設定でも収束を保証できるかどうかを調査すること。
• 局所更新を増加させることで全体の通信コストを削減する理論的・実験的条件を確立すること。
• ディープラーニングにおける過剰パラメータ化と凸可能性問題を結びつけ、新たな最適化戦略を可能にすること。

提案手法

• 各ノードがサーバーと通信する前に $ T_i $ 個の局所勾配降下ステップを実行する分散勾配降下アルゴリズムを導入する。
• 交差仮定に依存する：$ S = \bigcap_{i=1}^m S_i $、ここで $ S_i $ は局所損失 $ f_i $ の最適集合であり、共通の最小化子が存在することを保証する。
• 凸性および制限付き強い凸性の下での収束を分析し、任意の $ T_i $（$ T_i = \tau $（無限ステップ）を含む）に対して収束を証明する。
• 最適化と通信のバランスを取る総コストの上限を導出し、$ C_{\text{total}} $ を最小化するための $ T $（局所ステップ数）の最適化を実施する。
• 収束速度の漸近的解析（線形 vs. 非線形）を用いて、局所収束速度に応じた最適 $ T^* $ を導出する。
• 凸問題およびディープラーニング（例：四次損失関数を用いたがんデータセット）において実験的にフレームワークを検証し、$ T_i $ を大きくすることで通信回数が削減されることを示した。

実験結果

リサーチクエスチョン

• RQ1 各ノードが通信前に任意の数の局所更新を実行する分散最適化は、収束可能か？
• RQ2 局所更新回数を増やすと、分散学習における総通信コストが常に削減されるか？
• RQ3 過剰パラメータ化が分散設定における通信効率の最適化を可能にする条件は何か？
• RQ4 局所最適化と通信のトレードオフを最適パフォーマンスを得るために定量的にどのようにバランスさせるか？
• RQ5 局所最適集合の交差仮定の下で、古典的分散アルゴリズムの収束保証を緩和できるか？

主な発見

• 局所最適集合の非空な交差仮定の下で、任意の局所更新回数 $ T_i $（$ T_i = \tau $（無限ステップ）を含む）に対して収束が保証される。
• 線形収束する局所問題（例：強い凸性）では、最適な局所ステップ数 $ T^* $ は $ \log(1/r) $ のスケーリングを示し、ここで $ r $ は通信頻度である。
• 非線形収束する問題（例：四次損失）では、$ T^* $ は $ r^{-1/\beta} $ のスケーリングを示し、収束が遅い場合には総コストを最小化するためにより多くの局所ステップが必要であることを示す。
• 総通信コスト $ C_{\text{total}} $ は、局所最適化速度と通信頻度のバランスを取ることで最小化され、最適 $ T^* $ の明示的公式が導出された。
• 四次損失関数を用いたがんデータセットにおける実験結果から、$ T_i $ を大きくすることで通信ラウンド数が削減され、特に勾配の非線形減衰が見られる場合に顕著である。
• 観測された局所収束速度に基づいて $ T $ を適応的に調整する原理的で柔軟な戦略を提供し、実用的な通信最適化トレードオフを実現する。