[論文レビュー] On convexification/optimization of functionals including an l2-misfit term

Marcus Carlsson|arXiv (Cornell University)|Sep 29, 2016

Sparse and Compressive Sensing Techniques参考文献 5被引用数 20

ひとこと要約

本稿では、非凸なペナルティ（例：$\ell^0$-ノルムやランク）と$\ell^2$-データ適合項を組み合わせた関数型の下方下半連続凸包を計算するための新規変換$\mathcal{S}^2$を導入する。$f(x) + \frac{1}{2}\|x - d\|^2$の凸包が$\mathcal{S}^2(f)(x) + \frac{1}{2}\|x - d\|^2$であることを確立し、$\ell^1$-最小化や核ノルム最小化といった標準的凸緩和法のバイアスを回避する包括的枠組みを提供する。

ABSTRACT

We provide theory for computing the lower semi-continuous convex envelope of functionals of the type f(x) plus an l2 misfit, and discuss applications to various non-convex optimization problems. The latter term is a data fit term whereas f provides structural constraints on x. By minimizing the above expression, possibly with additional constraints, we thus find a tradeoff between matching the measured data and enforcing a particular structure on x, such as sparsity or low rank. For these particular cases, the theory provides alternatives to convex relaxation techniques such as l1 -minimization (for vectors) and nuclear norm-minimization (for matrices). For functionals where the l2 misfit includes a singular matrix and where the convex envelope usually is not explicitly computable, we provide theory for how minimizers of (explicitly computable) approximations of the convex envelope relate to minimizers of the original functional. In particular, we give explicit conditions on when the two coincide.

研究の動機と目的

• スパースおよび低ランク回復問題における標準的凸緩和法（例：$\ell^1$-最小化、核ノルム）に内在するバイアスを解消すること。
• 非凸なスパース性または低ランクペナルティと$\ell^2$-データ適合項を組み合わせた関数型の下方下半連続凸包を計算する包括的理論的枠組みを提供すること。
• $\|x\|_0$や$\mathrm{rank}(X)$の凸包が恒等的にゼロであるという制限を克服すること。
• 凸包近似の最小化解が元の非凸関数型の最小化解と一致する条件を確立すること。
• 一般のヒルバート空間および行列値関数型へ理論を拡張し、信号および画像処理分野における多様な最適化問題への応用を可能とすること。

提案手法

• 変換$\mathcal{S}^2_\gamma(f)$を導入し、$\mathcal{S}^2_\gamma(f)(x) + \frac{\gamma}{2}\|x\|^2$が$f(x) + \frac{\gamma}{2}\|x\|^2$の下方下半連続凸包に一致することを示す。
• 関数型$f(x) + \frac{1}{2}\|x - d\|^2$の凸包が$\mathcal{S}^2(f)(x) + \frac{1}{2}\|x - d\|^2$に一致することを示し、包の形状がデータ項$d$に依存しないこと。
• Moreau包やLasry-Lions近似子と類似した関係を特定し、近似アルゴリズムによる計算の可能性を高める。
• 特に$f(x) = \|x\|_0$および$f(X) = \mathrm{rank}(X)$のケースにおいて$\mathcal{S}^2(f)$の明示的公式を提供し、重み付きおよび制約付き変種へ一般化する。
• 特異値分解および行列摂動の議論を用いて、特定の条件下で凸包がランクおよびスパース構造を保存することを証明する。
• $\ell^2(\mathbb{N})$および$\mathcal{B}_2(\mathcal{V}_1, \mathcal{V}_2)$において$\ell^0$およびランク関数型の弱下半連続性を確立し、凸包構成の根拠を提供する。

実験結果

リサーチクエスチョン

• RQ1 非凸なスパース性または低ランクペナルティと$\ell^2$-データ適合項を組み合わせた関数型の下方下半連続凸包を明示的に計算できるか？
• RQ2 提案された$\mathcal{S}^2$変換は、$\ell^1$-最小化や核ノルム最小化といった既存の凸化技術とどのように関係しているか？
• RQ3 凸化関数型の最小化解が元の非凸関数型の最小化解と一致する条件は何か？
• RQ4 $\mathcal{S}^2_\gamma$変換におけるパrameter$\gamma$の役割は何か？また、凸包にどのように影響を与えるか？
• RQ5 標準的凸包が自明（ゼロ）である$\|x\|_0$や$\mathrm{rank}(X)$のような非凸関数型の凸包を意味的に計算できるか？

主な発見

• 関数型$f(x) + \frac{1}{2}\|x - d\|^2$の下方下半連続凸包は、$\mathcal{S}^2(f)(x) + \frac{1}{2}\|x - d\|^2$に等しく、ここで$\mathcal{S}^2(f)$は$f$の$\mathcal{S}^2$変換である。
• $\ell^0$-ノルムおよびランク関数型に対して、$\mathcal{S}^2(f)$は$\ell^1$-または核ノルムに基づく緩和法のバイアスを回避する非自明な凸包を提供する。
• データがノイズフリーでかつ解がスパースまたは低ランクである場合に特に、凸化関数型$\mathcal{S}^2(f)(x) + \frac{1}{2}\|x - d\|^2$の最小化解が元の非凸関数型$f(x) + \frac{1}{2}\|x - d\|^2$の最小化解と一致する明示的条件が成立する。
• $\mathcal{S}^2$変換はMoreau包およびLasry-Lions近似子と密接に関係しており、近位アルゴリズムによる効率的計算を可能にする。
• $\ell^2(\mathbb{N})$および$\mathcal{B}_2(\mathcal{V}_1, \mathcal{V}_2)$において、$\ell^0$-ノルムおよびランク関数型はそれぞれ弱下半連続であり、これにより凸包の存在および安定性が裏付けられる。
• 行列関数型において、凸包は摂動下でも特異ベクトルの整合性を保ち、証明は$X(s)$を区分的アフィンに拡張した際の内積$\langle X(s), Y \rangle$が特異値の積の和に一致することに依存する。