[論文レビュー] Decentralized and Parallelized Primal and Dual Accelerated Methods for Stochastic Convex Programming Problems

Darina Dvinskikh, Alexander Gasnikov|arXiv (Cornell University)|Apr 18, 2019

Stochastic Gradient Optimization Techniques参考文献 65被引用数 19

ひとこと要約

本稿では、凸最適化のための分散型で並列化されたプライマルおよびデュアル加速確率的勾配法を提案する。通信複雑度が最適であり、対数因子を除いてほぼ最適なオракル複雑度を達成する。ミニバッチ処理を統合することで、ノードレベルの並列処理が可能となり、大規模なデータサイエンスおよび逆問題に適している。

ABSTRACT

We introduce primal and dual stochastic gradient oracle methods for decentralized convex optimization problems. Both for primal and dual oracles, the proposed methods are optimal in terms of the number of communication steps. However, for all classes of the objective, the optimality in terms of the number of oracle calls per node takes place only up to a logarithmic factor and the notion of smoothness. By using mini-batching technique, we show that the proposed methods with stochastic oracle can be additionally parallelized at each node. The considered algorithms can be applied to many data science problems and inverse problems.

研究の動機と目的

• 分散ネットワークにおけるスケーラブルで効率的な分散型凸最適化の課題に取り組む。
• 通信オーバーヘッドを最小限に抑えつつ、ノードごとの計算効率を維持する手法を開発する。
• プライマルおよびデュアル確率的勾配法における通信複雑度の最適化を達成する。
• ミニバッチ処理を用いてノード内で並列化を実現し、収束保証を損なわずに計算スループットを向上させる。
• 提案手法を大規模データを伴う実世界のデータサイエンスおよび逆問題に応用可能にする。

提案手法

• 分散型凸最適化に特化したプライマルおよびデュアル確率的勾配オラクル手法を設計する。
• 分散環境下でも加速勾配技術を活用することで、通信ステップの最適性を確保する。
• 各ノードでの計算を並列化するためにミニバッチ処理を導入し、効果的な順次オラクル呼び出し回数を削減する。
• ノイズのある勾配推定が存在しても、確率的オラクルアクセス下で収束保証を維持する。
• 中央集権的な調整者を必要とせず、コンSENSUSに基づく通信プロトコルを用いてノード間の更新を同期する。
• モーメンタムやネステロフ風の技術を含む加速技術を用いて、プライマルおよびデュアル定式化の両方の収束速度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 プライマルおよびデュアル確率的勾配法は、分散型凸最適化において通信複雑度を最適化できるか？
• RQ2 収束性能が劣化しない範囲で、ミニバッチ処理によるノードレベルの並列化はどの程度達成可能か？
• RQ3 提案手法のオラクル複雑度は、滑らかさと対数因子を考慮した場合、理論的下界と比べてどのように評価できるか？
• RQ4 提案手法は、大規模データサイエンスおよび逆問題にどの程度スケーラブルに適用可能か？
• RQ5 分散型確率的最適化において、通信効率と計算並列化の間にはどのようなトレードオフがあるか？

主な発見

• 提案されたプライマルおよびデュアル手法は、理論的下界と一致する最適な通信複雑度を達成する。
• 滑らかさの仮定のもとで、ノードごとのオラクル複雑度は対数因子を除いてほぼ最適である。
• ミニバッチ処理により、ノード内での効果的な並列化が可能となり、通信コストを増大させることなく計算スループットが向上する。
• 分散型および確率的性質のおかげで、広範なクラスのデータサイエンスおよび逆問題に適用可能である。
• モーメンタムに類似した技術を用いることで、収束速度が向上し、標準的な確率的勾配降下法を上回る性能を発揮する。
• 理論的分析により、分散環境下でも確率的勾配ノイズが存在する場合でも、安定性と収束性が保証されていることが確認された。