[論文レビュー] A Class of Randomized Primal-Dual Algorithms for Distributed Optimization

Jean‐Christophe Pesquet, Audrey Repetti|arXiv (Cornell University)|Jun 24, 2014

Stochastic Gradient Optimization Techniques参考文献 53被引用数 83

ひとこと要約

本稿は、ランダムスイーピングとプリコンディショニングを活用して計算負荷を低減し、非同期更新を可能にする分散凸最適化のための確率的ブロック座標プライマルデュアルアルゴリズムのクラスを導入する。主な貢献は、確率的誤差とランダムブロック活性化の下で収束保証が得られることであり、単調包含問題および弱収束がほとんど確実に成立する複素凸最適化問題に適用可能である。

ABSTRACT

Based on a preconditioned version of the randomized block-coordinate forward-backward algorithm recently proposed in [Combettes,Pesquet,2014], several variants of block-coordinate primal-dual algorithms are designed in order to solve a wide array of monotone inclusion problems. These methods rely on a sweep of blocks of variables which are activated at each iteration according to a random rule, and they allow stochastic errors in the evaluation of the involved operators. Then, this framework is employed to derive block-coordinate primal-dual proximal algorithms for solving composite convex variational problems. The resulting algorithm implementations may be useful for reducing computational complexity and memory requirements. Furthermore, we show that the proposed approach can be used to develop novel asynchronous distributed primal-dual algorithms in a multi-agent context.

研究の動機と目的

• 大規模な分散最適化問題に対して柔軟で低複雑性のプライマルデュアルアルゴリズムを開発すること。
• 各反復で変数の部分集合のみを活性化するブロック座標更新により、メモリおよび計算要求を低減すること。
• 最小限の調整で、非同期かつ分散型の実装を可能にする多エージェントシステムにおける実装を可能にすること。
• 演算子評価における確率的誤差が存在する場合でも、弱収束を保証すること、ただし弱可 summability 条件を満たすものとする。
• 既存の前向き・後ろ向きプライマルデュアル手法を、理論的保証を伴う確率的・ブロック活性化型に拡張すること。

提案手法

• プライマルデュアル反復の基盤として、プリコンディショニングを施した確率的ブロック座標前向き・後ろ向きアルゴリズムを採用する。
• 各反復で変数のブロックを選択するためのランダム活性化ルールを用い、非同期的かつ分散型計算を可能にする。
• 演算子評価における誤差を扱うために、確率的準フェッチャー列を導入し、summability 条件を満たす限り収束を保証する。
• 単調作用素に対する前向き・後ろ向き反復にランダムスイープを適用することで、ブロック座標プライマルデュアルアルゴリズムを導出する。
• 変数の分割をデュアル変数を用いて行い、近位作用素と勾配の組み合わせにより、複素凸問題にフレームワークを適用する。
• 更新をエージェントの近隣に局所化し、一貫性に基づく平均化とデュアル変数の更新を用いて、分散型スキームを設計する。

実験結果

リサーチクエスチョン

• RQ1 各反復で変数の部分集合のみが更新される場合、確率的ブロック座標スキームがプライマルデュアルアルゴリズムで収束を維持できるか。
• RQ2 演算子評価における確率的誤差をどのように許容しつつ、分散プライマルデュアル手法の収束を保てるか。
• RQ3 提案されたフレームワークが、最小限の調整で非同期的で多エージェント分散最適化をどの程度サポートできるか。
• RQ4 ランダムブロック選択と確率的誤差が存在する状況下で、反復の弱ほとんど確実収束を保証する条件は何か。
• RQ5 ブロック座標アプローチを、単調包含問題と複素凸最適化の両方にどのように適応できるか。

主な発見

• 適切なステップサイズと誤差条件の下で、提案された確率的ブロック座標プライマルデュアルアルゴリズムは、単調包含問題の解へ弱収束がほとんど確実に成立する。
• 誤差がsummability 条件を満たす限り、演算子評価が確率的誤差で汚染されても収束が保たれる。
• フレームワークは、各ステップでエージェントの局所的近隣のみが更新される非同期分散実装をサポートする。
• 複素凸問題においては、近位作用素と勾配の両方の使用が可能であり、アルゴリズム設計の柔軟性が得られる。
• ユークリッド空間で定数ステップサイズかつ誤差なしの特別な場合、アルゴリズムは既知の分散スキームに簡略化され、一貫性が裏付けられる。
• 収束解析は、ブロック座標法を確率的設定に拡張可能な、新しい確率的準フェッチャー列フレームワークに依存している。