[論文レビュー] Local SGD for Saddle-Point Problems.

Aleksandr Beznosikov, Valentin Samokhin+1 more|arXiv (Cornell University)|Oct 25, 2020

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿では、大規模なGAN学習に生じる滑らかで確率的サドルポイント問題の分散最適化のための新しいアルゴリズム、Extra Step Local SGDを提案する。局所的更新に追加の補正ステップを組み込むことで、通信効率が向上し、強い凸-強い凹な場合にΩ(K^{2/3}M^{1/3})、凸-凹な場合にΩ(K^{8/9}M^{4/9})の理論的上限が得られる。

ABSTRACT

GAN is one of the most popular and commonly used neural network models. When the model is large and there is a lot of data, the learning process can be delayed. The standard way out is to use multiple devices. Therefore, the methods of distributed and federated training for GANs are an important question. But from an optimization point of view, GANs are nothing more than a classical saddle-point problem: $\min_x \max_y f(x,y)$. Therefore, this paper focuses on the distributed optimization of the smooth stochastic saddle-point problems using Local SGD. We present a new algorithm specifically for our problem -- Extra Step Local SGD. The obtained theoretical bounds of communication rounds are $\Omega(K^{2/3} M^{1/3})$ in strongly-convex-strongly-concave case and $\Omega(K^{8/9} M^{4/9})$ in convex-concave (here $M$ -- number of functions (nodes) and $K$ - number of iterations).

研究の動機と目的

• 大規模なモデルとデータ量に起因する分散型およびフェデレーテッドGAN学習における高い通信コストを解消すること。
• 確率的サドルポイント問題に特化した通信効率の高い最適化手法を開発すること。
• GANや類似問題の文脈における局所的更新手法の理論的収束速度を分析すること。
• 非凸-凹な設定において、より優れた収束を実現するための追加ステップ機構を導入することで、既存のLocal SGDの変種を改善すること。

提案手法

• 標準的なLocal SGDを拡張し、サドルポイント問題における収束を改善する追加の補正ステップを組み込んだ新しいアルゴリズム、Extra Step Local SGDを提案する。
• 複数のデバイス（Mノード）で局所的更新を実行し、その後、通信頻度を低減するための追加勾配補正を伴うグローバル平均化ステップを実施する。
• GANで一般的な形 min_x max_y f(x,y) の滑らかで確率的なサドルポイント問題にこの手法を適用する。
• 強い凸-強い凹および凸-凹な仮定の下で、理論的通信複雑度の上限を導出する。
• 局所的更新と問題のmin-max構造との相互作用を考慮した、革新的な分析フレームワークを導入する。
• 確率的近似および分散最適化の技術を用いて、提示された仮定の下で収束保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 GAN学習に生じるサドルポイント問題に、通信効率を向上させた形でLocal SGDを効果的に適応できるか？
• RQ2 分散型GAN最適化において、局所的計算と通信頻度の最適なトレードオフは何か？
• RQ3 標準的なLocal SGDと比較して、追加のステップが非凸-凹なサドルポイント問題における収束をどのように改善するか？
• RQ4 滑らかで確率的なサドルポイント問題の文脈において、Local SGDの理論的通信複雑度の上限はどの程度達成可能か？
• RQ5 提案手法は、GAN用に既存の分散最適化手法よりも優れた収束速度を達成できるか？

主な発見

• 提案されたExtra Step Local SGDは、強い凸-強い凹な場合に通信複雑度Ω(K^{2/3}M^{1/3})を達成し、標準的なLocal SGDを上回る。
• 凸-凹な設定では、通信複雑度Ω(K^{8/9}M^{4/9})を達成し、通信効率の顕著な向上が確認された。
• 理論的分析により、追加ステップ機構がベースラインのLocal SGDと比較して必要な通信ラウンド数を削減することが確認された。
• 本手法はGANや他のサドルポイント問題に特化して設計されており、大規模な分散学習に適している。
• 滑らかさと確率的勾配の標準的仮定の下で導出された上限であり、実用的妥当性が保証されている。
• 結果から、補正ステップを伴う局所的更新が、分散min-max最適化における通信と計算のバランスを効果的にとれることを示している。