[論文レビュー] Exact Penalty Methods for Non-Lipschitz Optimization

Xiaojun Chen, Zhaosong Lu+1 more|arXiv (Cornell University)|Sep 9, 2014

Sparse and Compressive Sensing Techniques参考文献 19被引用数 1

ひとこと要約

本稿は、楕球型制約を伴う非リプシッツ的で非凸な最適化問題に対する正確なペナルティ法を提案し、適応的ペナルティパラメータ更新を用いたプロキシマル勾配法を用いる。KKT点への収束を確立し、スパース解の探索において有効であることを示し、データサイエンス応用における非リプシッツ的ペナルティの理論を前進させる。

ABSTRACT

This paper considers a class of constrained optimization problems with a possi-bly nonconvex non-Lipschitz objective and a certain ellipsoidal constraint. Such a problem has a wide range of applications in data science. The objective induces the sparsity of solutions and the constraint presents the noise tolerance condition for data fitting. While the penalty method is a common approach for constrained optimiza-tion, there is little theory and algorithms concerning exact penalization for problems with nonconvex non-Lipschitz objectives. In this paper, we study the existence of ex-act penalty parameters for this problem regarding local minimizers, stationary points and -minimizers under suitable assumptions. Moreover, we propose a penalty method whose subproblems are solved via a proximal gradient method, with an update scheme for the penalty parameters. We also prove the convergence of the algorithm to a KKT point of the constrained problem. Preliminary numerical results show the efficiency of the penalty method for finding sparse solutions.

研究の動機と目的

• データサイエンス応用において生じる非リプシッツ的で非凸な最適化問題における正確なペナルティ法の理論的基盤の不足に対処すること。
• 適切な仮定の下で、局所最適解、停留在点、ε-最適解に対して正確なペナルティパラメータの存在を確立すること。
• 各部分問題をプロキシマル勾配法により解くことができ、適応的ペナルティパラメータ更新を用いた収束するアルゴリズムを設計すること。
• アルゴリズムが元の制約付き問題のKKT点に収束することを証明すること。
• 予備の数値実験を通じて、本手法がスパース解を計算する際の効率性を示すこと。

提案手法

• 非リプシッツ的で、おそらく非凸な目的関数と楕球型制約を伴う制約付き最適化問題のクラスにペナルティ法を適用する。
• 各ペナルティ付き部分問題を解くためにプロキシマル勾配法を用い、非滑らかさにもかかわらず効率的な計算を可能にする。
• 収束性と正確なペナルティ化を保証するため、ペナルティパラメータの適応的更新スキームを導入する。
• 局所最適解および停留在点に対して正確なペナルティパラメータの存在が保証される理論的条件を確立する。
• ε-最適解に対して正確なペナルティパラメータの存在を保証する仮定に依拠し、KKT点への収束を確立する。
• ペナルティ定式化およびプロキシマル反復の性質を活用して、KKT点への収束を分析する。

実験結果

リサーチクエスチョン

• RQ1 非リプシッツ的で非凸な最適化問題に楕球型制約を伴う場合、局所最適解に対して正確なペナルティパラメータが存在する条件は何か？
• RQ2 このクラスの問題において、停留在点およびε-最適解に対しても正確なペナルティ化が確立可能か？
• RQ3 適応的ペナルティパラメータ更新を用いた本手法のアルゴリズムは、元の問題のKKT点に収束するか？
• RQ4 本手法のペナルティ法は、データサイエンス応用においてスパース解の回復にどの程度効果的か？
• RQ5 非リプシッツ的設定における部分問題ソルバーの収束に対して、どのような理論的保証を提供できるか？

主な発見

• 適切な仮定の下で、本稿は局所最適解、停留在点、ε-最適解に対して正確なペナルティパラメータの存在を証明する。
• 提案されたアルゴリズムは、元の制約付き最適化問題のKKT点に収束することが示された。
• 適応的ペナルティパラメータ更新を用いたプロキシマル勾配法は、ペナルティ付き部分問題を効果的に解くことができる。
• 予備の数値結果により、本手法がスパース解の特定において効率的であることが確認された。
• 理論的枠組みは、実用的なデータ適合制約を伴う非リプシッツ的で非凸な設定への正確なペナルティ化を拡張する。
• 本手法は、収束性が保証されるスパース最適化問題を解くための実用的で有効なアプローチを提供する。