[論文レビュー] Stochastic Methods for Composite Optimization Problems

John C. Duchi, Feng Ruan|arXiv (Cornell University)|Mar 24, 2017

Stochastic Gradient Optimization Techniques参考文献 20被引用数 22

ひとこと要約

本稿では、滑らか関数との合成を含む非滑らか凸関数を含む複合確率的目的関数を最小化するための確率的近接線形および部分勾配アルゴリズムを提案する。やや弱い条件下でも、これらの手法は一次静止点に収束し、非滑らか位相再構成問題における実験的検証を通じて実用的有効性が示されている。

ABSTRACT

We consider minimization of stochastic functionals that are compositions of a (potentially) non-smooth convex function $h$ and smooth function $c$ and, more generally, stochastic weakly-convex functionals. We develop a family of stochastic methods---including a stochastic prox-linear algorithm and a stochastic (generalized) sub-gradient procedure---and prove that, under mild technical conditions, each converges to first-order stationary points of the stochastic objective. We provide experiments further investigating our methods on non-smooth phase retrieval problems; the experiments indicate the practical effectiveness of the procedures.

研究の動機と目的

• 目的関数が非滑らか凸関数と滑らか関数の合成である確率的複合目的関数を最小化する課題に対処すること。
• 弱凸的かつ非滑らか関数型を確率的設定で取り扱える強固な確率的最適化手法を開発すること。
• やや弱い技術的条件の下で一次静止点への収束保証を確立すること。
• 位相再構成のような現実世界の非滑らか問題における提案手法の実用的性能を評価すること。

提案手法

• 本稿では、滑らか成分の線形化と非滑らか成分におけるプロキシマルステップを用いて、複合目的関数を反復的に近似する確率的近接線形アルゴリズムを導入する。
• 弱凸的確率的目的関数を扱うために、確率的設定における部分勾配情報を利用する、確率的一般化部分勾配手順が開発されている。
• 手法は、関数値および部分勾配評価がノイズを含んでもあるモーメント条件を満たす確率的オракルモデルに基づいて動作する。
• 収束解析は、勾配の有界性や滑らか成分のリプシッツ連続性といった仮定に依拠しており、一次静止点への収束を保証する。
• フレームワークは凸的および弱凸的目的関数を両方扱えるため、標準的な滑らかまたは強い凸的設定を超えて応用範囲を拡張する。
• 理論的解析では、マルティンゲール差分列とほとんど確実収束の議論を用いて、期待値およびほとんど確実に収束することを確立している。

実験結果

リサーチクエスチョン

• RQ1 確率的近接線形手法は、複合的非滑らか確率的目的関数に対して一次静止点に収束するか？
• RQ2 確率的部分勾配手順は、弱凸的確率的関数型に対してどのように動作するか？
• RQ3 複合的・非滑らか最適化設定における確率的アルゴリズムの収束を保証する条件は何か？
• RQ4 提案手法は非滑らか位相再構成問題において実際の問題解決でどのように比較されるか？

主な発見

• やや弱い技術的条件（勾配の有界性および滑らか成分のリプシッツ連続性を含む）の下で、確率的近接線形アルゴリズムは一次静止点に収束する。
• 確率的一般化部分勾配法も、弱凸的確率的目的関数に対して一次静止点への収束を達成する。
• 非滑らか位相再構成問題における実験的結果から、両手法が実用的に有効かつノイズに強く、ロバストであることが示された。
• 収束保証は期待値およびほとんど確実に成り立ち、マルティンゲール収束技術を用いた理論的解析によって裏付けられている。