[논문 리뷰] Epigraphical splitting for solving constrained convex formulations of inverse problems with proximal tools

Giovanni Chierchia, Nelly Pustelnik외 2명|arXiv (Cornell University)|2012. 10. 22.

Sparse and Compressive Sensing Techniques참고 문헌 101인용 수 9

한 줄 요약

이 논문은 비선형 제약 조건을 에피그래프로 재구성함으로써, 이미지 복원 및 펄스 설계 응용 분야에서 제약 조건이 있는 볼록 최적화 문제를 효율적으로 해결하기 위한 에피그래프 분할 기법을 제안한다. 특히 거리 함수와 ℓ₁,p 노름(여기서 p ∈ {2, ∞})에 대해, 제약 조건을 볼록 함수의 에피그래프로 재정의함으로써 폐쇄형 투영을 가능하게 하여, 기존 반복적 방법에 비해 수렴 속도를 크게 향상시킨다.

ABSTRACT

We propose a proximal approach to deal with a class of convex variational problems involving nonlinear constraints. A large family of constraints, proven to be effective in the solution of inverse problems, can be expressed as the lower level set of a sum of convex functions evaluated over different, but possibly overlapping, blocks of the signal. For such constraints, the associated projection operator generally does not have a simple form. We circumvent this difficulty by splitting the lower level set into as many epigraphs as functions involved in the sum. A closed half-space constraint is also enforced, in order to limit the sum of the introduced epigraphical variables to the upper bound of the original lower level set. In this paper, we focus on a family of constraints involving linear transforms of distance functions to a convex set or $\ell_{1,p}$ norms with $p\in \{1,2,\infty\}$. In these cases, the projection onto the epigraph of the involved function has a closed form expression. The proposed approach is validated in the context of image restoration with missing samples, by making use of constraints based on Non-Local Total Variation. Experiments show that our method leads to significant improvements in term of convergence speed over existing algorithms for solving similar constrained problems. A second application to a pulse shape design problem is provided in order to illustrate the flexibility of the proposed approach.

연구 동기 및 목표

• 폐쇄형 해가 존재하지 않는 복잡한 볼록 제약 조건에 대한 투영을 계산하는 데 도전하는 것.
• 비트리비알 제약 조건을 에피그래프와 반평면으로 변환하여 투영을 효율적으로 계산할 수 있는 분할 전략을 개발하는 것.
• 특정 함수 클래스에 대해 에피그래프 투영의 폐쇄형 해를 활용하여 프록시멀 알고리즘의 수렴 속도를 향상시키는 것.
• 비국소 총변동(NLTV)을 사용한 이미지 복원 및 펄스 형상 설계에서 방법의 효과성을 입증하는 것.
• 시험된 사례를 초월하여 임의의 수의 볼록 제약 조건에 적용 가능한 유연한 프레임워크를 제공하는 것.

제안 방법

• 보조 변수를 도입하여 h_s(H_s x) ≤ η_s 형태의 제약 조건을 에피그래프 및 반평면 제약 조건으로 재구성한다.
• 볼록 함수 f의 에피그래프를 {(x, ζ) | f(x) ≤ ζ}로 정의하며, f가 볼록 집합으로부터의 거리 함수 또는 p ∈ {2, ∞}인 ℓ_p 노름일 경우 폐쇄형 투영이 가능하다.
• 기존 문제를 에피그래프와 표준 볼록 집합에 대한 투영을 포함하는 부분문제로 분리하기 위해 변수 분할을 적용한다.
• ADMM와 같은 프록시멀 알고리즘을 사용하여 분할된 문제를 해결하며, 에피그래프 투영의 폐쇄형 해를 활용한다.
• 제약 조건 집합의 정확한 재구성에 의해 원래의 제약 문제와 분할된 형태 간의 동치성을 확보한다.
• 이미지 복원 및 펄스 설계에 대해 방법을 검증하며, 기존 반복적 투영 기반 방법과 수렴 속도를 비교한다.

실험 결과

연구 질문

• RQ1 에피그래프 분할은 신호 블록에 대한 볼록 함수의 합을 포함하는 제약 조건에 대해 폐쇄형 투영을 가능하게 하는가?
• RQ2 에피그래프 분할은 기존 반복적 투영 방법에 비해 프록시멀 알고리즘에서 더 빠른 수렴을 이끌어내는가?
• RQ3 이미지 복원에서 비국소 총변동(NLTV) 기반 제약 조건에 대해 이 방법의 효과성은 어떠한가?
• RQ4 이 방법은 역문제에서 임의의 수의 볼록 제약 조건을 다룰 수 있도록 확장될 수 있는가?
• RQ5 ℓ₁,2 및 ℓ₁,∞ 노름에 대해 에피그래프 투영을 사용할 경우 수렴 속도 향상 정도는 어떠한가?

주요 결과

• 에피그래프 분할 기법은 볼록 집합으로부터의 거리 함수 및 p ∈ {2, ∞}인 ℓ_p 노름에 대해 폐쇄형 투영을 가능하게 하여 직접 투영이 계산하기 어려운 문제를 해결한다.
• 결손 샘플이 있는 이미지 복원에서, 제안된 방법은 비국소 총변동(NLTV) 제약 조건을 사용할 경우 기존 반복적 해법보다 훨씬 더 빠른 수렴 속도를 달성한다.
• 펄스 형상 설계에서는 더 큰 설계의 자유도를 제공하며, 특히 β = 2 및 작은 ε 값에서 최첨단 기술 수준의 결과와 유사한 성능을 낸다.
• 이미지 복구 과제에서 ℓ₁,2 노름이 ℓ₁,∞ 노름보다 우수한 성능을 보이며, 이미지 표현에서 더 나은 블록 스파arsity 유도 효과를 가진다.
• 직접 투영 기반 접근보다 빠른 수렴을 보이며, 병렬 처리를 통해 실행 속도를 추가로 향상시킬 수 있다.
• 이 프레임워크는 두 개의 제약 조건에 국한되지 않고, 임의의 수의 볼록 제약 조건에 적용 가능한 일반적인 방법이다.