[論文レビュー] Projections Onto Convex Sets (POCS) Based Optimization by Lifting

Ahmet Enis Çetin, Alican Bozkurt+5 more|arXiv (Cornell University)|Jun 11, 2013

Sparse and Compressive Sensing Techniques参考文献 21被引用数 5

ひとこと要約

本稿では、凸および特定の非凸最適化問題の次元を1つ引き上げることで、コスト関数をR^{N+1}における凸集合に変換する、新しいPOCSに基づく最適化フレームワークを提案する。反復的にこの引き上げられた集合とレベル集合への射影を繰り返すことで、全変動、l1、エントロピー的、フィルタード変動関数に対して、グローバル最適解が達成される。l_p関数（p<1）に対しても、支持超平面を用いて実験的に成功している。

ABSTRACT

Two new optimization techniques based on projections onto convex space (POCS) framework for solving convex and some non-convex optimization problems are presented. The dimension of the minimization problem is lifted by one and sets corresponding to the cost function are defined. If the cost function is a convex function in R^N the corresponding set is a convex set in R^(N+1). The iterative optimization approach starts with an arbitrary initial estimate in R^(N+1) and an orthogonal projection is performed onto one of the sets in a sequential manner at each step of the optimization problem. The method provides globally optimal solutions in total-variation, filtered variation, l1, and entropic cost functions. It is also experimentally observed that cost functions based on lp, p&lt;1 can be handled by using the supporting hyperplane concept.

研究の動機と目的

• 凸および非凸コスト関数に対するグローバル最適化を可能にする次元引き上げPOCSフレームワークの開発。
• Bregman D-射影の計算複雑性を克服するため、それらを引き上げられた凸集合への直交射影に置き換える。
• 非凸関数（例：l_p、p<1）へのPOCSの適用を、支持超平面近似を用いて拡張する。
• 逆信号および画像処理分野における従来の反復的最適化手法に対する計算効率の良い代替手法を提供する。

提案手法

• f(w)が凸である場合、C_f = { [w^T y]^T | y ≥ f(w) } として定義される集合を用いて、元のN次元最適化問題をR^{N+1}に引き上げる。この集合は凸である。
• 定数αに対して、C_s = { [w^T y]^T | y ≤ α } としてR^{N+1}における第二の凸集合を定義する。
• R^{N+1}における任意の初期点から出発し、C_fとC_sの間で交互に直交射影を繰り返すことで、グローバル最小値に収束する。
• 非凸なl_p（p<1）関数に対しては、現在の反復点における支持超平面を用いてコスト関数の表面を近似し、射影を実行する。
• 反復的に、まずC_sに射影し、次に現在点におけるC_fの支持超平面に射影する形で、反復を更新する。
• 追加の凸制約を組み込むため、射影列に制約集合を追加する。交差しない集合に対処するための戦略として、集合の拡大または修正された射影ルールを用いる。

実験結果

リサーチクエスチョン

• RQ1 POCSフレームワークは、問題次元を引き上げ、引き上げられた凸集合への直交射影を用いることで、凸最適化問題を解けるように拡張可能か？
• RQ2 非凸性を持つl_p（p<1）関数を、POCSに基づく手法で最小化するにはどうすればよいか？
• RQ3 支持超平面は、非凸コスト関数を近似し、グローバル最小値への収束を可能にする上で果たす役割は何か？
• RQ4 複数の凸制約が存在するがその交差が空集合または非自明な場合、この手法はどのように拡張可能か？
• RQ5 一般化された支持超平面を用いて、複数の局所最小値を有する非凸関数を、逐次的な直交射影によって最小化可能か？

主な発見

• 全変動、フィルタード変動、l1、エントロピー的関数といった凸コスト関数に対して、R^{N+1}への問題の引き上げと交互な直交射影を用いることで、グローバル最適解が達成される。
• l_p（p<1）関数に対しても、支持超平面への反復的射影により、コスト関数が非凸であってもグローバル最小値に収束することが実験的に確認された。
• 支持超平面への射影は計算的に効率的であり、非線形方程式の解法を必要としないため、実世界の応用において実用的である。
• 複数の凸制約が存在し、それらの交差が空集合である場合でも、最適解を含むリミットサイクルに収束することが示され、非交差集合に対してもロバストであることが示唆された。
• Bregman D-射影の計算を回避することができ、Bregmanの元のフレームワークに比べて計算がより単純な代替手法を提供する。
• f(w) = |w−2|^{0.5}+1 といった非凸関数に対しても、接線および支持超平面を用いて実験的に検証され、グローバル最小値への収束が達成された。