[論文レビュー] A proximal method for composite minimization

Adrian S. Lewis, Stephen J. Wright|arXiv (Cornell University)|Dec 2, 2008

Sparse and Compressive Sensing Techniques参考文献 32被引用数 19

ひとこと要約

本稿では、滑らかな写像とプロキシ正則または凸関数の合成を含む複合最小化問題に対する近接法を提案する。逐次的に正則化され線形化された部分問題を解くことで、グローバル収束が達成され、解の近傍におけるアクティブ多様体の特定も可能となり、凸および非凸の例において有望な計算結果を得た。

ABSTRACT

We consider minimization of functions that are compositions of convex or prox-regular functions (possibly extended-valued) with smooth vector functions. A wide variety of important optimization problems fall into this framework. We describe an algorithmic framework based on a subproblem constructed from a linearized approximation to the objective and a regularization term. Properties of local solutions of this subproblem underlie both a global convergence result and an identification property of the active manifold containing the solution of the original problem. Preliminary computational results on both convex and nonconvex examples are promising.

研究の動機と目的

• 目的関数が滑らかな関数と可能ならば非滑らかで、プロキシ正則または凸関数の合成である複合最適化問題に対処すること。
• 凸および非凸の両ケースを扱えるように、近接正則化と線形化を活用したグローバル収束アルゴリズムの開発。
• アルゴリズムが解を含むアクティブ多様体を同定する理論的条件の確立。非線形計画法におけるアクティブセット概念の一般化。
• スパース最適化、非線形計画法、正則化最小化問題に適用可能な統一的枠組みの提供。
• 変分解析の道具を用いて、凸性を超えたプロキシ正則関数への古典的近接法の拡張。

提案手法

• 部分問題を、合成目的関数の線形近似に二次正則化項を加えた最小化として定式化：$\min_d h(c(x) + \nabla c(x)d) + \frac{1}{2}\mu|d|^2$。
• 目的関数の十分な減少を満たすように、正則化パラメータ$\mu$を動的に調整するバックトラッキングラインサーチ戦略を採用。
• プロキシ正則性と部分的滑らかさを活用し、解の近傍で部分問題の局所解が存在かつ一意であることを保証。
• 従来の変分解析的道具（余微分、度合い正則性）を用いて、部分問題の挙動と収束性を分析。
• 部分微分の連鎖法則を用い、乗数ベクトル$\bar{v}$が存在し、$\bar{v} \in \partial h(\bar{c}) \cap \text{Null}(\nabla c(\bar{x})^*)$を満たすことで臨界点を特徴付ける。
• 多様体同定の適用：$x$が解$\bar{x}$に十分近いとき、アルゴリズムは$\Phi(d) \in \mathcal{M}$を満たす多様体$\mathcal{M}$を同定する。ここで$\mathcal{M}$は$h$のアクティブ多様体である。

実験結果

リサーチクエスチョン

• RQ1 プロキシ線形化部分問題が最適点の近傍で一意な局所解をもたらす条件は何か？
• RQ2 $h$がプロキシ正則である場合、外側関数$h$のアクティブ多様体をアルゴリズムがどのように同定できるか？
• RQ3 非凸的かつ拡張値関数の設定下で、ProxDescentアルゴリズムにどのようなグローバル収束保証を設定できるか？
• RQ4 アクティブセット法が多面体的または凸的でない場合に、どのように一般化されるか？
• RQ5 正則化パラメータ$\mu$の適応的調整が、十分な減少と収束を保証する仕組みは何か？

主な発見

• プロキシ正則性$h$と制約写像の度合い正則性というやや弱い仮定のもとで、アルゴリズムはグローバル収束を達成する。
• ある点$x$が解$\bar{x}$に十分近いとき、部分問題の解$d$は$\Phi(d) \in \mathcal{M}$を満たす。ここで$\mathcal{M}$は$c(\bar{x})$における$h$のアクティブ多様体であり、アクティブ多様体の同定が可能となる。
• プロキシ正則な$h$に対して、$\mu$が十分に大きいとき、部分問題はサイズ$O(|x - \bar{x}|)$の一意な局所解$d$をもつ。
• 古典的近接法が凸性を超えて非凸的および拡張値関数の設定へと一般化され、凸解析を超えた理論的保証が得られた。
• 凸および非凸問題における予備的な計算結果から、本手法はスパース最適化や正則化タスクにおいて、頑健かつ効率的であることが示された。
• 余微分と度合い正則性の道具を用いることで、$h$が凸でない場合でも、部分問題の挙動と収束性を厳密に分析可能となった。