[논문 리뷰] An Alternating Direction Method for Total Variation Denoising

Zhiwei Qin, Donald Goldfarb외 1명|arXiv (Cornell University)|2011. 08. 07.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 5

한 줄 요약

이 논문은 총변동(TV) 노이즈 제거를 위한 새로운 교대 방향 증강 라그랑주(ADAL) 방법을 제안한다. 이 방법은 이미지 변수와 기울기 변수를 분리하는 이중 변수 분할 전략을 사용하여, 정확하고 효율적인 하위문제 해법을 가능하게 하며, 이로 인해 이방향 TV 모델에 대해 전역 수렴성을 확보하고, 등방향 TV 모델에 대해서는 전역 수렴성을 보장하는 변형을 제공한다. 이론적 분석과 실험 결과에 따르면, 표준 테스트 이미지에서 반복 횟수와 CPU 시간 측면에서 Split Bregman보다 뛰어난 계산 성능을 보인다.

ABSTRACT

We consider the image denoising problem using total variation (TV) regularization. This problem can be computationally challenging to solve due to the non-differentiability and non-linearity of the regularization term. We propose an alternating direction augmented Lagrangian (ADAL) method, based on a new variable splitting approach that results in subproblems that can be solved efficiently and exactly. The global convergence of the new algorithm is established for the anisotropic TV model. For the isotropic TV model, by doing further variable splitting, we are able to derive an ADAL method that is globally convergent. We compare our methods with the split Bregman method \cite{goldstein2009split},which is closely related to it, and demonstrate their competitiveness in computational performance on a set of standard test images.

연구 동기 및 목표

• TV 정규화 항의 비가역성과 비선형성으로 인해 발생하는 TV 노이즈 제거 문제의 계산적 과제를 해결하기 위해.
• 이방향 및 등방향 TV 모델 모두에 대해 전역 수렴 보장을 갖는 교대 방향 증강 라그랑주(ADAL) 알고리즘을 개발하기 위해.
• 기존 방법들인 Split Bregman 및 SALSA와 비교해 계산 효율성과 수렴 속도를 향상시키기 위해.
• 각 ADAL 반복에서 하위문제를 정확하고 효율적으로 해결할 수 있도록 하는 새로운 변수 분할 전략을 도입하기 위해.
• 표준 테스트 이미지에서 제안된 방법을 실증적으로 검증하고 최신 알고리즘들과의 성능을 비교하기 위해.

제안 방법

• 이중 변수 분할 전략을 도입하여 이미지 $ u $ 와 이산 기울기 $ D_i u $ 에 대해 각각 보조 변수를 도입함으로써 원래 문제를 제약 조건이 있는 최적화 문제로 변환한다.
• 분할된 문제에 대해 교대 방향 증강 라그랑주(ADAL) 방법을 적용하여, 원소 및 이중 변수에 대해 교대 최소화를 수행하고, 정확한 하위문제 해법을 가능하게 한다.
• 이방향 TV 모델의 경우, 하위문제를 단순한 $ \ell_1 $-shrinkage와 삼중대각 선형 시스템을 푸는 방식으로 해결함으로써 전역 수렴성을 확보한다.
• 등방향 TV 모델의 경우, 전역 수렴을 보장하기 위해 제3의 보조 변수를 도입하여, Chambolle의 알고리즘을 통한 Moreau 프락시멀 매핑을 활용할 수 있도록 한다.
• ADAL-\mu 변형에서는 수렴 속도를 향상시키기 위해 적응형 $ \mu $-업데이트 전략을 도입하였으며, 전역 수렴 보장을 유지한다.
• 이방향 케이스에서는 가우스-세이델 스weep을 사용해 선형 시스템을 풀고, 등방향 케이스에서는 추가적인 제약 조건과 변수 갱신을 포함하여 수렴성을 유지한다.

실험 결과

연구 질문

• RQ1 ADAL 방법에서 새로운 변수 분할 전략이 TV 노이즈 제거에서 수렴 속도 향상과 계산 효율성 향상에 기여할 수 있는가?
• RQ2 제안된 ADAL 방법이 이전 방법들이 보장하지 못하는 바와 같이, 이방향 및 등방향 TV 모델 모두에 대해 전역 수렴성을 달성하는가?
• RQ3 표준 테스트 이미지에서 Split Bregman 및 SALSA와 비교해 제안된 방법의 수렴 속도와 계산 비용은 어떻게 되는가?
• RQ4 등방향 TV 케이스에서 추가적인 변수 분할이 수렴 보장과 단위 반복 계산 비용에 어떤 영향을 미치는가?
• RQ5 적응형 $ \mu $-업데이트 전략이 전역 수렴 보장을 훼손하지 않으면서도 수렴 속도를 향상시킬 수 있는가?

주요 결과

• 제안된 이방향 TV 노이즈 제거를 위한 ADAL 방법은 전역 수렴성을 확보하고 있으며, 모든 테스트 이미지에서 Split Bregman보다 훨씬 빠른 수렴 속도를 보이며 반복 횟수를 크게 줄였다.
• 등방향 TV 모델의 경우, ADAL-\mu 변형은 약 48mn flop의 단위 반복 비용을 가지며, SplitBregman의 34mn flop보다 略히 높다.
• ADAL-\mu 및 ADAL-conv-\mu는 등방향 모델에서 SplitBregman보다 반복 횟수를 약 절반으로 줄였으며, 이로 인해 높은 단위 반복 비용에도 불구하고 총 CPU 시간이 가장 적게 소요되었다.
• 평균적으로 ADAL-\mu는 이방향 및 등방향 모델 모두에서 가장 빠른 수렴 속도를 기록하였으며, 반복 횟수도 가장 적었다.
• 이 방법의 계산 효율성은 $ \ell_1 $-shrinkage와 삼중대각 시스템 해법을 통한 정확한 하위문제 해법 덕분이며, 이는 반복 횟수 감소와 전체 실행 시간 단축에 기여한다.
• 실증 결과에 따르면, ADAL-\mu 변형은 특히 수렴이 더 계산적으로 비용이 많이 드는 등방향 모델에서 반복 횟수와 CPU 시간 모두에서 SplitBregman를 능가하는 성능을 보였다.