[論文レビュー] Penalty Methods for Constrained Non-Lipschitz Optimization

Xiaojun ChenZhaosong Lu, Ting Kei Pong|arXiv (Cornell University)|Jan 1, 2015

Sparse and Compressive Sensing Techniques参考文献 26被引用数 3

ひとこと要約

本稿は、非リプシッツで非凸の目的関数と、多面体および楕円体制約で定義される凸の実行可能集合をもつ制約付き非リプシッツ最適化のためのペナルティ法を提案する。局所最適解、停留点、ε-最適解に対して正確なペナルティを確立し、非単調な近接勾配法と適応的ペナルティ更新を組み合わせた収束性を示すアルゴリズムを構築した。この手法はスパース解の探索において有効であることが示された。

ABSTRACT

We consider a class of constrained optimization problems with a possibly nonconvex non-Lipschitz objective and a convex feasible set being the intersection of a polyhedron and a possibly degenerated ellipsoid. Such a problem has a wide range of applications in data science, where the objective is used for inducing sparsity in the solutions while the constraint set models the noise tolerance and incorporates other prior information for data tting. To solve this kind of constrained optimization problems, a common approach is the penalty method. However, there is little theory on exact penalization for problems with nonconvex non-Lipschitz objectives. In this paper, we study the existence of exact penalty parameters regarding local minimizers, stationary points and -minimizers under suitable assumptions. Moreover, we discuss a penalty method whose subproblems are solved via a nonmonotone proximal gradient method with a suitable update scheme for the penalty parameters, and prove the convergence of the algorithm to a KKT point of the constrained problem. Preliminary numerical results demonstrate the eciency of the penalty method for nding sparse solutions.

研究の動機と目的

• データサイエンスにおいてスパース性を誘導するために一般的に見られる、非凸で非リプシッツの目的関数と凸の実行可能集合をもつ制約付き最適化問題に対処すること。
• 局所最適解、停留点、ε-最適解に対して正確なペナルティパラメータが存在する理論的条件を確立すること。
• 適応的ペナルティパラメータ更新を伴う非単調近接勾配法により部分問題を解く実用的なアルゴリズムを開発すること。
• 元の制約付き問題のKKT点へのアルゴリズムの収束を証明すること。
• 予備の数値実験を通じて、この手法がスパース解を計算する上で効率的であることを示すこと。

提案手法

• 元の制約付き問題が、ペナルティ項を用いて一連の無制約部分問題に変換されるペナルティ定式化を採用する。
• 収束を保証するために、目的関数の単調減少を要件としない適切なスキームに従い、ペナルティパラメータを適応的に更新する。
• 部分問題は、非凸設定下でもロバストで収束性に優れる非単調近接勾配法により解かれる。
• 理論的分析により、適切な仮定の下で正確なペナルティパラメータの存在を確立し、ペナルティ問題の解が元の問題の解と一致することを保証する。
• 目的関数が非リプシッツかつ非凸であっても、元の制約付き問題のKKT点への収束を保証するようにアルゴリズムが設計されている。
• 実行可能集合は、多面体と可能に退化した楕円体の共通部分としてモデル化され、データ適合におけるノイズ耐性と事前情報の統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非リプシッツで非凸な最適化において、凸制約のもとで局所最適解に対して正確なペナルティパラメータが存在する条件は何か？
• RQ2 このクラスの問題において、停留点およびε-最適解に対しても正確なペナルティが確立可能か？
• RQ3 適応的ペナルティ更新を伴う非単調近接勾配法は、このような問題に対してKKT点に収束するか？
• RQ4 提案されたペナルティ法は、データサイエンスの応用においてスパース解の計算にどの程度有効か？
• RQ5 非リプシッツおよび非凸な目的関数のもとで、アルゴリズムの収束に対する理論的保証はどのようなものか？

主な発見

• 適切な仮定の下で、局所最適解、停留点、ε-最適解に対して正確なペナルティパラメータの存在が確立された。
• 適応的ペナルティパラメータ更新を伴う提案手法は、元の制約付き問題のKKT点に収束する。
• 部分問題で用いられる非単調近接勾配法により、非凸性および非リプシッツ性の影響を受けても収束が保証される。
• 予備の数値結果により、この手法がスパース解の特定において有効であることが確認された。
• 理論的枠組みにより、従来の文献で未発展であった非リプシッツで非凸な設定への正確なペナルティの拡張がなされた。
• 多面体と可能に退化した楕円体の共通部分として定義される制約を効果的に処理でき、ノイズ耐性と事前情報の統合が可能となった。