[논문 리뷰] On convexification/optimization of functionals including an l2-misfit term

Marcus Carlsson|arXiv (Cornell University)|2016. 09. 29.

Sparse and Compressive Sensing Techniques참고 문헌 5인용 수 20

한 줄 요약

이 논문은 비볼록 펜alty(예: $\ell^0$-노름 또는 질량)와 $\ell^2$-데이터 일치 항을 조합한 함수형의 하한 절반연속 볼록 쌍대를 계산하기 위해 새로운 변환 $\mathcal{S}^2$을 제안한다. $f(x) + \frac{1}{2}\|x - d\|^2$의 볼록 쌍대가 $\mathcal{S}^2(f)(x) + \frac{1}{2}\|x - d\|^2$임을 입증하여, $\ell^1$-최소화나 핵노름 최소화와 같은 표준 볼록 이완 기법의 편향을 피하는 통합 프레임워크를 제공한다.

ABSTRACT

We provide theory for computing the lower semi-continuous convex envelope of functionals of the type f(x) plus an l2 misfit, and discuss applications to various non-convex optimization problems. The latter term is a data fit term whereas f provides structural constraints on x. By minimizing the above expression, possibly with additional constraints, we thus find a tradeoff between matching the measured data and enforcing a particular structure on x, such as sparsity or low rank. For these particular cases, the theory provides alternatives to convex relaxation techniques such as l1 -minimization (for vectors) and nuclear norm-minimization (for matrices). For functionals where the l2 misfit includes a singular matrix and where the convex envelope usually is not explicitly computable, we provide theory for how minimizers of (explicitly computable) approximations of the convex envelope relate to minimizers of the original functional. In particular, we give explicit conditions on when the two coincide.

연구 동기 및 목표

• 희박성 및 낮은 질량 복구 문제에 대해 표준 볼록 이완 기법(예: $\ell^1$-최소화, 핵노름 최소화)에 내재된 편향을 해결한다.
• 비볼록 희박성 또는 낮은 질량 페널티와 $\ell^2$-데이터 일치 항을 가진 함수형의 하한 절반연속 볼록 쌍대를 계산하는 통합 이론적 프레임워크를 제공한다.
• 표준 볼록 이완이 효과가 없어지는 문제인 $\|x\|_0$ 또는 $\mathrm{rank}(X)$의 볼록 쌍대가 항상 0이 되는 한계를 극복한다.
• 원래의 비볼록 함수형의 최소화자와 근사 볼록 쌍대의 최소화자가 일치하는 조건을 규명한다.
• 이론을 일반 힐버트 공간과 행렬값 함수형으로 확장하여 신호 및 영상 처리 분야의 다양한 최적화 문제에의 적용 가능성을 확보한다.

제안 방법

• 함수형 $f$에 대해 변환 $\mathcal{S}^2_\gamma(f)$를 도입하며, $\mathcal{S}^2_\gamma(f)(x) + \frac{\gamma}{2}\|x\|^2$이 $f(x) + \frac{\gamma}{2}\|x\|^2$의 하한 절반연속 볼록 쌍대와 일치함을 보인다.
• 함수형 $f(x) + \frac{1}{2}\|x - d\|^2$의 볼록 쌍대가 $\mathcal{S}^2(f)(x) + \frac{1}{2}\|x - d\|^2$임을 입증하며, 이 쌍대의 형태가 데이터 항 $d$에 영향을 받지 않음을 보인다.
• Moreau 쌍대 및 Lasry-Lions 근사화와의 관계를 규명하여 계산의 실현 가능성을 확보한다.
• 주요 경우, 예를 들어 $f(x) = \|x\|_0$ 및 $f(X) = \mathrm{rank}(X)$에 대해 $\mathcal{S}^2(f)$의 명시적 공식을 제공하고, 가중치 및 제약 조건이 있는 일반화된 형태로 확장한다.
• 특정 조건 하에서 특이값 분해와 행렬 섭동 분석을 이용해 볼록 쌍대가 질량 및 희박성 구조를 유지함을 증명한다.
• $\ell^2(\mathbb{N})$ 및 $\mathcal{B}_2(\mathcal{V}_1, \mathcal{V}_2)$에서 각각 $\ell^0$ 및 질량 함수형의 약한 하한 절반연속성을 입증하여 볼록 쌍대 구성의 타당성과 안정성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 비볼록 희박성 또는 낮은 질량 페널티와 $\ell^2$-데이터 일치 항을 가진 함수형의 하한 절반연속 볼록 쌍대를 명시적으로 계산할 수 있는가?
• RQ2 제안된 $\mathcal{S}^2$ 변환은 $\ell^1$-최소화나 핵노름 최소화와 같은 기존 볼록화 기법과 어떻게 관련이 있는가?
• RQ3 볼록화된 함수형의 최소화자와 원래의 비볼록 함수형의 최소화자가 일치하는 조건은 무엇인가?
• RQ4 $\mathcal{S}^2_\gamma$ 변환에서 매개변수 $\gamma$의 역할은 무엇이며, 볼록 쌍대에 어떤 영향을 미치는가?
• RQ5 표준 볼록 쌍대가 자명하게 0이 되는 비볼록 함수형(예: $\|x\|_0$ 또는 $\mathrm{rank}(X)$)의 볼록 쌍대를 의미 있게 계산할 수 있는가?

주요 결과

• 함수형 $f(x) + \frac{1}{2}\|x - d\|^2$의 하한 절반연속 볼록 쌍대는 $\mathcal{S}^2(f)(x) + \frac{1}{2}\|x - d\|^2$로 주어지며, 여기서 $\mathcal{S}^2(f)$는 $f$의 $\mathcal{S}^2$ 변환이다.
• $\ell^0$-노름 및 질량 함수형의 경우 $\mathcal{S}^2(f)$는 $\ell^1$ 또는 핵노름 기반 이완의 편향을 피하는 비자명한 볼록 쌍대를 제공한다.
• 데이터가 노이즈가 없고 해가 희박하거나 낮은 질량일 경우, 볼록화된 함수형 $\mathcal{S}^2(f)(x) + \frac{1}{2}\|x - d\|^2$의 최소화자와 원래의 비볼록 함수형 $f(x) + \frac{1}{2}\|x - d\|^2$의 최소화자가 일치하는 명시적 조건이 존재한다.
• $\mathcal{S}^2$ 변환은 Moreau 쌍대 및 Lasry-Lions 근사화와 밀접한 관련이 있으며, 프록시멀 알고리즘을 통한 효율적 계산이 가능하다.
• $\ell^2(\mathbb{N})$ 및 $\mathcal{B}_2(\mathcal{V}_1, \mathcal{V}_2)$에서 각각 $\ell^0$-노름 및 질량 함수형은 약한 하한 절반연속성을 가지며, 이는 볼록 쌍대의 존재성과 안정성에 기여한다.
• 행렬 함수형의 경우, 볼록 쌍대가 섭동 하에서도 특이벡터 정렬을 유지하며, 이는 $X(s)$가 조각별 선형으로 연장될 때 내적 $\langle X(s), Y \rangle$가 특이값의 곱의 합과 일치함을 보여서 증명된다.