[論文レビュー] A successive difference-of-convex approximation method for a class of nonconvex nonsmooth optimization problems

Tianxiang Liu, Ting Kei Pong+1 more|arXiv (Cornell University)|Oct 16, 2017

Sparse and Compressive Sensing Techniques参考文献 24被引用数 6

ひとこと要約

本稿では、滑らか関数と非負で、おそらく滑らかでない関数（容易に計算可能な近似写像を備える）を含む非凸で滑らかでない最適化問題を解くための逐次差分凸（DC）近似法を提案する。非滑らか成分をそのモラウエンVELOP（連続的DC関数）で近似することで、主要化技術を用いた一次元法による効率的最小化が可能となり、やや弱い仮定のもとで反復列が有界であり、静止点に収束することを証明する。

ABSTRACT

We consider a class of nonconvex nonsmooth optimization problems whose objective is the sum of a smooth function and a finite number of nonnegative proper closed possibly nonsmooth functions (whose proximal mappings are easy to compute), some of which are further composed with linear maps. This kind of problems arises naturally in various applications when different regularizers are introduced for inducing simultaneous structures in the solutions. Solving these problems, however, can be challenging because of the coupled nonsmooth functions: the corresponding proximal mapping can be hard to compute so that standard first-order methods such as the proximal gradient algorithm cannot be applied efficiently. In this paper, we propose a successive difference-of-convex approximation method for solving this kind of problems. In this algorithm, we approximate the nonsmooth functions by their Moreau envelopes in each iteration. Making use of the simple observation that Moreau envelopes of nonnegative proper closed functions are continuous {\em difference-of-convex} functions, we can then approximately minimize the approximation function by first-order methods with suitable majorization techniques. These first-order methods can be implemented efficiently thanks to the fact that the proximal mapping of {\em each} nonsmooth function is easy to compute. Under suitable assumptions, we prove that the sequence generated by our method is bounded and any accumulation point is a stationary point of the objective. We also discuss how our method can be applied to concrete applications such as nonconvex fused regularized optimization problems and simultaneously structured matrix optimization problems, and illustrate the performance numerically for these two specific applications.

研究の動機と目的

• 標準的な近似写像勾配法が、結合された非滑らか項によって失敗する非凸で滑らかでない最適化問題を解く課題に対処すること。
• 構造化最適化問題における複数の非滑らか関数の和の近似写像を計算することが計算的に非実行可能であるという課題を克服すること。
• 個々の成分の近似写像が容易に計算可能であることを活用しながら、非凸性を処理する効率的な手法を開発すること。
• レベル有界性および目的関数の連続性などのやや弱い仮定のもとで、静止点への収束を保証すること。
• 融合正則化や行列構造を持つ最適化を含む、同時に複数の構造を持つ実世界問題への応用を可能にすること。

提案手法

• 目的関数内の各非滑らか関数を、そのモラウエンVELOPで近似する。これは連続的差分凸（DC）関数である。
• モラウエンVELOPのDC構造を活用し、主要化技術を用いた一次元法による最小化を可能にする。
• 各反復で、滑らか部分の勾配と個々の非滑らか成分の近似写像を含む主要化された部分問題を解く。
• 目的関数の十分な減少を保証するため、非単調ラインサーチ戦略と適応的ペナルティパラメータの更新を採用する。
• 個々の $ P_i $ の近似写像は容易に計算可能であるが、それらの和はそうでないという事実を活用する。
• モラウエンVELOP近似を反復的に更新することで解を精緻化する逐次近似スキームを適用する。

実験結果

リサーチクエスチョン

• RQ1 複数の非滑らか成分を含む非凸で滑らかでない最適化問題を、効率的に解くための逐次DC近似法を設計できるか？
• RQ2 非滑らか関数をそのモラウエンVELOPで近似することで、効率的な一次元法の使用が維持できるか？
• RQ3 提案されたアルゴリズムが静止点への収束を保証する条件は何か？
• RQ4 融合正則化や低ランク行列回復を含む、同時に構造を持つ問題において、この手法は数値的にどの程度有効か？
• RQ5 複数の正則化子が線形写像と合成された構造化行列最適化問題に、この手法を適用できるか？

主な発見

• 与えられた仮定のもとで、アルゴリズムが生成する列は有界であり、安定性が保証される。
• 反復列の任意の蓄積点は、元の非凸で滑らかでない問題の静止点である。
• 目的関数の十分な減少を保証するラインサーチ戦略を用いることで収束が達成され、ペナルティパラメータの有界性により定義が明確になる。
• 数値実験では、非凸融合正則化問題および同時に構造を持つ行列最適化問題に対して、目的関数値と残差ノルムが減少するという有効性が示された。
• テスト問題において、3000反復のうちに目的関数値が約1000から約100に減少するなど、異なるパrameter設定に対してもアルゴリズムは頑健な性能を示した。
• NPG主要部分アルゴリズムの収束が確立され、$ \|\bm{x}^{t+1}-\bm{x}^{t}\| \to 0 $ が成立し、全体の収束行動を支持する。