[논문 리뷰] A convergence proof of the split Bregman method for regularized least-squares problems

Hung Nien, Jeffrey A. Fessler|arXiv (Cornell University)|2014. 02. 18.

Sparse and Compressive Sensing TechniquesEngineering인용 수 17

한 줄 요약

이 논문은 정규화된 최소제곱 문제에 대해 비정확한 업데이트를 가정할 때 스플릿 브레그먼(SB) 방법의 수렴성을 증명하며, 데이터 피팅 항이 이차형인 경우 이 방법이 수렴하는 분할 방법의 다중변수를 사용한 최적화 방법(ADMM)과 동치임을 보여준다. 주요 기여는 완전한 열 랭크나 정확한 하위문제 해를 요구하지 않는 실용적인 조건 하에서 간단한 수렴 증명을 제공하는 것으로, 최적화된 파arameter를 사용할 경우 ADMM가 SB보다 수렴 속도에서 뛰어나다는 것을 입증한다.

ABSTRACT

The split Bregman (SB) method [T. Goldstein and S. Osher, SIAM J. Imaging Sci., 2 (2009), pp. 323-43] is a fast splitting-based algorithm that solves image reconstruction problems with general l1, e.g., total-variation (TV) and compressed sensing (CS), regularizations by introducing a single variable split to decouple the data-fitting term and the regularization term, yielding simple subproblems that are separable (or partially separable) and easy to minimize. Several convergence proofs have been proposed, and these proofs either impose a "full column rank" assumption to the split or assume exact updates in all subproblems. However, these assumptions are impractical in many applications such as the X-ray computed tomography (CT) image reconstructions, where the inner least-squares problem usually cannot be solved efficiently due to the highly shift-variant Hessian. In this paper, we show that when the data-fitting term is quadratic, the SB method is a convergent alternating direction method of multipliers (ADMM), and a straightforward convergence proof with inexact updates is given using [J. Eckstein and D. P. Bertsekas, Mathematical Programming, 55 (1992), pp. 293-318, Theorem 8]. Furthermore, since the SB method is just a special case of an ADMM algorithm, it seems likely that the ADMM algorithm will be faster than the SB method if the augmented Largangian (AL) penalty parameters are selected appropriately. To have a concrete example, we conduct a convergence rate analysis of the ADMM algorithm using two splits for image restoration problems with quadratic data-fitting term and regularization term. According to our analysis, we can show that the two-split ADMM algorithm can be faster than the SB method if the AL penalty parameter of the SB method is suboptimal. Numerical experiments were conducted to verify our analysis.

연구 동기 및 목표

• 완전한 열 랭크와 정확한 업데이트 조건을 만족하지 않는 실용적인 조건 하에서 스플릿 브레그먼 방법의 수렴 증명을 수립하는 것.
• 데이터 피팅 항이 이차형인 경우 스플릿 브레그먼 방법이 분할 방법의 다중변수를 사용한 최적화 방법(ADMM)과 동치임을 보이는 것.
• 두 개의 분할 변수를 사용하는 ADMM의 수렴 속도를 분석하고, 이를 SB 방법과 비교하는 것.
• ADMM와 SB의 파라미터 조정에 대한 통찰을 제공하기 위해, ADMM이 SB보다 더 빠르게 수렴하는 조건을 규명하는 것.
• 비정확한 해법기를 사용한 이미지 복원 문제에서 이론적 분석을 수치 실험을 통해 검증하는 것.

제안 방법

• 정규화된 최소제곱 문제에 대해 데이터 피팅 항이 이차형인 경우 스플릿 브레그먼 방법이 두 개의 분할 변수를 사용하는 ADMM 알고리즘과 동치임을 증명하는 것.
• 참고 문헌 [8]의 정리 8을 사용하여 ADMM 설정의 수렴성을 확립함으로써, 비정확한 업데이트 조건 하에서도 SB 방법의 수렴성을 유도하는 것.
• ADMM 하위문제를 설정: x-업데이트는 증강 라그랑주 항이 포함된 최소제곱 문제를 푸는 것으로, v-업데이트는 정규화 항의 프록시멀 오퍼레이터를 푸는 것으로 구성.
• 스펙트럼 분석을 통해 두 개의 분할 변수를 사용하는 ADMM 알고리즘의 수렴 속도를 분석하고, SB 방법보다 빠르게 수렴할 조건을 도출하는 것.
• 이미지 복원 문제에서 비정확한 x-업데이트를 위해 PCG에 순환 조건자(기본 행렬)를 적용하고, 다양한 페널티 파라미터에 따른 수렴 속도를 비교하는 수치 실험을 수행하는 것.
• 모서리 보존 정규화를 모델링하기 위해 마스크된 유한 차분 행렬과 이차형 거칠기 페널티를 사용하며, 이론적 분석에 기반한 파라미터 조정을 수행하는 것.

실험 결과

연구 질문

• RQ1 시스템 행렬이 완전한 열 랭크를 가지지 않으며 하위문제가 비정확하게 풀릴 경우 스플릿 브레그먼 방법의 수렴성을 증명할 수 있는가?
• RQ2 데이터 피팅 항이 이차형인 경우 스플릿 브레그먼 방법이 ADMM 알고리즘과 동치이며, 이 동치성으로 인해 더 단순한 수렴 증명이 가능한가?
• RQ3 어떤 조건에서 두 개의 분할 변수를 사용하는 ADMM이 스플릿 브레그먼 방법보다 더 빠르게 수렴하는가?
• RQ4 증강 라그랑주 페널티 파라미터의 선택이 SB 및 ADMM 알고리즘의 수렴 속도에 어떻게 영향을 미치는가?
• RQ5 이론적 수렴 속도 분석이 FFT 기반 해법기가 아닌 해법기를 사용하는 이미지 복원 문제에서 비정확한 ADMM 및 SB 해법기의 성능을 예측할 수 있는가?

주요 결과

• 데이터 피팅 항이 이차형인 경우 스플릿 브레그먼 방법은 수렴하는 ADMM 알고리즘과 동치이며, 이는 비정확한 업데이트 조건 하에서도 수렴 증명이 가능하고 완전한 열 랭크 조건이 필요하지 않음을 의미한다.
• 이 수렴 증명은 일반적인 볼록 정규화 항에 대해 유효하며, x-업데이트 하위문제의 비정확한 해를 허용하므로, 병렬 MRI 및 CT 영상 촬영과 같은 적용 분야에서 매우 중요하다.
• 증강 라그랑주 페널티 파라미터가 서브옵티멀한 경우, 특히 과소평가된 경우, 두 개의 분할 변수를 사용하는 ADMM는 스플릿 브레그먼 방법보다 더 빠르게 수렴할 수 있다.
• 수치 실험 결과, 페널티 파라미터 η가 과소평가된 경우(예: η = α/20) ADMM 알고리즘이 SB보다 유의미하게 더 빠르게 수렴함을 확인하였으며, 이는 점근적 수렴 속도는 유사하나 수렴 속도는 뚜렷이 빠름을 시사한다.
• ρ = η/α = 1/20로 설정된 ADMM 알고리즘은 큰 스텝 사이즈로 인해 강한 오버슈트와 진동을 보이며, 이는 수렴 성능이 파라미터 조정에 매우 민감함을 보여준다.
• 최적의 파라미터 선택(예: η = α)을 할 경우, 두 개의 분할 변수를 사용하는 ADMM는 가장 빠른 수렴 속도를 보이며 리플 없이 수렴하며, 효과적인 조건자로 인해 비정확한 x-업데이트로 인한 수렴 속도 저하도 매우 미미하다.