[論文レビュー] Douglas-Rachford splitting for nonconvex feasibility problems

Guoyin Li, Ting Kei Pong|arXiv (Cornell University)|Sep 30, 2014

Optimization and Variational Analysis参考文献 26被引用数 6

ひとこと要約

本稿では、リプシッツ連続勾配をもつ滑らかな関数と適切で閉集合である関数の和を最小化する問題に対する収束性を分析することで、非凸凸性問題にドーキング・ラッハフォード分割法を適応する。ステップサイズが計算可能な閾値未満であり、クラスターポイントが存在する場合、列は停留点に収束することを確立する。半代数的仮定の下で、グローバル収束および局所線形収束率を達成する。また、凸集合と一般の閉集合の交わりにおける点の特定にこの手法を適用する。

ABSTRACT

We adapt the Douglas-Rachford (DR) splitting method to solve nonconvex feasibility problems by studying this method for a class of nonconvex optimization problem. While the convergence properties of the method for convex problems have been well studied, far less is known in the nonconvex setting. In this paper, for the direct adaptation of the method to minimize the sum of a proper closed function g and a smooth function f with a Lipschitz continuous gradient, we show that if the step-size parameter is smaller than a computable threshold and the sequence generated has a cluster point, then it gives a stationary point of the optimization problem. Convergence of the whole sequence and a local convergence rate are also established under the additional assumption that f and g are semi-algebraic. We also give simple sufficient conditions guaranteeing the boundedness of the sequence generated. We then apply our nonconvex DR splitting method to finding a point in the intersection of a closed convex set C and a general closed set D by minimizing the square distance to C subject to D. We show that if either set is bounded and the step-size parameter is smaller than a computable threshold, then the sequence generated from the DR splitting method is actually bounded. Consequently, the sequence generated will have cluster points that are stationary for an optimization problem, and the whole sequence is convergent under an additional assumption that C and D are semi-algebraic. We achieve these results based on a new merit function constructed particularly for the DR splitting method. Our preliminary numerical results indicate that the DR splitting method usually outperforms the alternating projection method in finding a sparse solution of a linear system, in terms of both the solution quality and the number of iterations taken.

研究の動機と目的

• 非凸最適化問題における収束性が十分に理解されていない分野に、ドーキング・ラッハフォード分割法を拡張すること。
• 計算可能なステップサイズ条件と有界性仮定の下で、停留点への収束を確立すること。
• 目的関数が半代数的である場合に、グローバル収束および局所線形収束率を提供すること。
• 特にスパース解の回復を目的とした、凸集合と一般の閉集合を含む可解性問題へのこの手法の適用。
• 実験的に、この手法が解の品質および反復回数において、交互射影法を上回ることを示すこと。

提案手法

• 適切で閉集合である関数 g とリプシッツ連続勾配をもつ滑らかな関数 f の和を最小化することで、古典的ドーキング・ラッハフォード分割法を非凸問題に適応する。
• 非凸 DR 分割フレームワークにおける収束解析に特化した、独創的なマーリット関数を導入する。
• ステップサイズが計算可能な閾値未満であり、列にクラスターポイントが存在する場合、停留点への収束を確立する。
• f と g が半代数的であるという追加仮定の下で、グローバル収束および局所線形収束率を証明する。
• 閉凸集合 C への距離の二乗を最小化し、一般の閉集合 D に属することを条件として、可解性問題にこの手法を適用する。
• 特に C または D が有界である場合に有効な有界性条件を用い、列が有界であり、したがってクラスターポイントを持つことを保証する。

実験結果

リサーチクエスチョン

• RQ1 非凸問題に対して、直接的なドーキング・ラッハフォード分割法が停留点に収束する条件は何か？
• RQ2 クラスターポイントが存在する場合に、停留点への収束を保証する計算可能なステップサイズ閾値を導出できるか？
• RQ3 非凸設定において、グローバル収束および局所線形収束率を保証する追加の仮定は何か？
• RQ4 DR 分割法は、凸集合と一般の閉集合を含む可解性問題にどのように適用できるか？
• RQ5 非凸設定において、DR 分割法によって生成される列の有界性を保証する条件は何か？

主な発見

• ステップサイズが計算可能な閾値未満であり、列にクラスターポイントが存在する場合、列は最適化問題の停留点に収束する。
• f と g がともに半代数的である場合、グローバル収束および局所線形収束率が達成される。
• 凸集合 C または一般の集合 D が有界であり、ステップサイズが閾値未満である場合、DR 分割法によって生成される列は有界である。
• 線形方程式系のスパース解を求める際、この手法は解の品質および反復回数において、交互射影法を上回る。
• 提案されたマーリット関数により、従来のリャプノフベースのアプローチが失敗する非凸設定における収束解析が可能になった。