[論文レビュー] Distributed Projected Subgradient Method for Weakly Convex Optimization.

Shixiang Chen, Alfredo García+1 more|arXiv (Cornell University)|Apr 28, 2020

Sparse and Compressive Sensing Techniques参考文献 30被引用数 4

ひとこと要約

本稿では、弱凸最適化のための分散型プロジェクトド確率的部分勾配法（stoDPSM）を提案し、モラウエンvelopeの停留性測度を用いてそのグローバル収束を証明する。鋭さ条件のもとで、幾何的減少ステップサイズを用いた決定的DPSMは鋭い最小値へ線形収束を示し、辞書学習やロバスト位相再構成といった大規模機械学習問題に対して理論的保証を提供する。

ABSTRACT

The stochastic subgradient method is a widely-used algorithm for solving large-scale optimization problems arising in machine learning. Often these problems are neither smooth nor convex. Recently, Davis et al. [1-2] characterized the convergence of the stochastic subgradient method for the weakly convex case, which encompasses many important applications (e.g., robust phase retrieval, blind deconvolution, biconvex compressive sensing, and dictionary learning). In practice, distributed implementations of the projected stochastic subgradient method (stoDPSM) are used to speed-up risk minimization. In this paper, we propose a distributed implementation of the stochastic subgradient method with a theoretical guarantee. Specifically, we show the global convergence of stoDPSM using the Moreau envelope stationarity measure. Furthermore, under a so-called sharpness condition, we show that deterministic DPSM (with a proper initialization) converges linearly to the sharp minima, using geometrically diminishing step-size. We provide numerical experiments to support our theoretical analysis.

研究の動機と目的

• 非凸・非滑らか設定における確率的部分勾配法の分散実装に対する理論的収束保証の欠如に対処すること。
• 確率的部分勾配法の収束解析を、主要な機械学習応用を含む弱凸問題へ拡張すること。
• モラウエンvelopeの停留性測度を用いて、分散型プロジェクション付き確率的部分勾配法（stoDPSM）のグローバル収束を確立すること。
• 鋭さ条件のもとで、幾何的減少ステップサイズを用いた決定的DPSMが鋭い最小値へ線形収束することを証明すること。
• 弱凸最適化タスクにおける数値実験を通じて理論的発見を検証すること。

提案手法

• 各エージェントが局所的な部分勾配と射影を用いて更新する弱凸最適化のための分散型プロジェクション付き確率的部分勾配法（stoDPSM）を提案する。
• 非滑らかで弱凸な問題に適した収束基準として、モラウエンvelopeの停留性測度を採用する。
• 鋭さ条件のもとで線形収束を達成するために、決定的DPSMバージョンに幾何的減少ステップサイズルールを導入する。
• 決定的設定において鋭い最小値への収束を保証するため、適切な初期化を要件とする。
• 複数のエージェントにわたるスケーリングを実現するため、局所更新とコンSENSUSメカニズムを用いた分散計算を採用する。
• モラウエンvelopeの性質と部分勾配ダイナミクスを活用することで、弱凸性のもとでの収束を分析する。

実験結果

リサーチクエスチョン

• RQ1 分散型プロジェクション付き確率的部分勾配法（stoDPSM）は弱凸最適化問題に対してグローバルに収束するか？
• RQ2 非滑らかで弱凸な問題において、分散環境下でモラウエンvelopeの停留性測度が有効な収束基準として機能するか？
• RQ3 決定的DPSMが鋭い最小値へ線形収束する条件は何か？
• RQ4 鋭さ条件下で、幾何的減少ステップサイズは決定的DPSMにおける収束にどのように影響するか？
• RQ5 数値実験は、提案された分散型手法の理論的収束特性を確認できるか？

主な発見

• 提案されたstoDPSMは、モラウエンvelopeの停留性を測定基準として用いることで、弱凸最適化問題に対してグローバル収束を達成する。
• 鋭さ条件のもとで、幾何的減少ステップサイズを用いた決定的DPSMは、鋭い最小値へ線形収束する。
• 初期化が適切に選ばれている場合、鋭いケースにおいて最適解への収束保証が得られる。
• モラウエンvelopeの停留性測度は、非滑らかで弱凸な設定における収束を効果的に捉え、理論的解析を可能にする。
• 数値実験は理論的発見を支持し、テスト問題全体にわたり一貫した収束行動を示している。
• 本手法は、ロバスト位相再構成、ブラインドデコンボリューション、辞書学習といった実世界の機械学習タスクに適用可能である。