[논문 리뷰] Modular proximal optimization for multidimensional total-variation regularization

Álvaro Barbero, Suvrit Sra|arXiv (Cornell University)|2014. 11. 03.

Sparse and Compressive Sensing Techniques참고 문헌 70인용 수 56

한 줄 요약

이 논문은 다차원 총변동(TV) 정규화를 위한 모듈러 프락시멀 최적화 프레임워크를 제안하며, 타우스트링 방법에 대한 새로운 기하학적 분석을 통해 콘다의 알고리즘과의 연결 고리를 드러내어 1D에서 ℓ₁-TV를 더 빠르고 효율적으로 해결할 수 있도록 한다. 이 방법은 효율적이고 재사용 가능한 1D-TV 프락시멀 연산자를 활용하여 영상 및 비디오 노이즈 제거, 디컨볼루션, 퓌즈드 라소 문제에서 최신 기술을 초월하는 성능을 달성한다. 이는 확장 가능한 다중 스레드 C++, MATLAB, Python 라이브러리 기반으로 제공된다.

ABSTRACT

We study \emph{TV regularization}, a widely used technique for eliciting structured sparsity. In particular, we propose efficient algorithms for computing prox-operators for $\ell_p$-norm TV. The most important among these is $\ell_1$-norm TV, for whose prox-operator we present a new geometric analysis which unveils a hitherto unknown connection to taut-string methods. This connection turns out to be remarkably useful as it shows how our geometry guided implementation results in efficient weighted and unweighted 1D-TV solvers, surpassing state-of-the-art methods. Our 1D-TV solvers provide the backbone for building more complex (two or higher-dimensional) TV solvers within a modular proximal optimization approach. We review the literature for an array of methods exploiting this strategy, and illustrate the benefits of our modular design through extensive suite of experiments on (i) image denoising, (ii) image deconvolution, (iii) four variants of fused-lasso, and (iv) video denoising. To underscore our claims and permit easy reproducibility, we provide all the reviewed and our new TV solvers in an easy to use multi-threaded C++, Matlab and Python library.

연구 동기 및 목표

• 다차원 총변동 정규화, 특히 ℓ₁-TV에 대해 효율적이고 재사용 가능한 프락시멀 솔버를 개발하여 고차원 데이터에서 확장 가능한 최적화를 가능하게 한다.
• 영상 및 비디오 처리에서 TV 정규화의 계산 병목 현상을 해결하기 위해 빠르고 모듈러한 1D-TV 솔버를 설계하여 고차원 솔버로 조합할 수 있도록 한다.
• 타우스트링 방법과 콘다의 알고리즘 사이의 기하학적 연결 고리를 확립하여 성능 향상과 직관적인 해석이 가능한 하이브리드 솔버를 설계한다.
• C++, MATLAB, Python을 지원하는 실용적이고 오픈소스의 라이브러리를 제공하여 다양한 TV 기반 역문제에 대해 다중 스레드, 모듈러 프락시멀 최적화를 지원한다.
• 이를 통해 영상 노이즈 제거, 디컨볼루션, 퓌즈드 라소, 비디오 노이즈 제거 등 다양한 응용 분야에서 제안된 프레임워크의 효과성을 실세계 데이터 기반 정량적 벤치마크로 입증한다.

제안 방법

• 복잡한 다차원 TV 문제를 재사용 가능한 1D-TV 프락시멀 하위문제로 분해하는 모듈러 프락시멀 최적화 프레임워크를 제안한다.
• 타우스트링 방법에 대한 새로운 기하학적 해석을 제시하며, 기존의 알려지지 않은 분석을 통해 그 것이 콘다의 무게 없는 TV 알고리즘의 변종과 동치임을 드러낸다.
• 타우스트링 방법의 강건성과 콘다의 접근 방식의 효율성을 결합한 하이브리드 타우스트링 알고리즘을 개발하여 가중 ℓ₁-TV 프락시멀 연산자의 빠르고 정확한 계산을 가능하게 한다.
• 3D-TV 문제의 경우, 병렬 프락시멀 딕스트라(PPD) 알고리즘 내에서 선형화된 타우스트링 솔버를 핵심 1D-TV 서브루틴으로 활용하여 3D-TV 노이즈 제거 및 디컨볼루션의 확장 가능한 해를 도출한다.
• 근사 프락시멀 연산자를 활용한 프락시멀 경사하강법을 적용하여 대규모 TV 정규화 문제에서 효율적이고 실용적인 수렴을 가능하게 한다.
• 모든 솔버가 벤치마크되고 재현 가능한 다중 스레드 오픈소스 구현을 C++, MATLAB, Python에 제공한다.

실험 결과

연구 질문

• RQ1 타우스트링 방법의 기하학적 재해석이 기존 최신 기술 대비 더 빠르고 강건한 1D-TV 프락시멀 솔버를 도출할 수 있는가?
• RQ2 타우스트링 방법과 콘다의 알고리즘 사이의 관계는 무엇이며, 이를 통해 성능 향상이 가능한 하이브리드 솔버를 설계할 수 있는가?
• RQ3 효율적인 1D-TV 솔버를 기반으로 한 모듈러 프락시멀 최적화 프레임워크가 2D 및 3D-TV 정규화와 같은 고차원 문제로 어떻게 확장되는가?
• RQ4 영상 및 비디오 노이즈 제거와 같은 실용적 응용에서, 제안된 프레임워크가 ADMM, 골드파브-얀 및 기타 기존 방법보다 더 빠른 수렴 속도와 높은 신호 대 노이즈비(ISNR)를 달성하는가?
• RQ5 모듈러 설계는 퓌즈드 라소 및 디컨볼루션과 같은 다양한 역문제에 대해 재사용 및 확장이 가능하게 하며, 재구현 없이도 적용 가능한가?

주요 결과

• 제안된 하이브리드 타우스트링 알고리즘은 가중 및 비가중 ℓ₁-TV 문제 모두에서 기존 최신 기술 대비 빠른 속도와 높은 정확도를 확보한다.
• 기하학적 분석을 통해 타우스트링 방법과 콘다의 알고리즘 사이에 이전에 알려지지 않은 연결 고리가 드러나며, 이는 새로운 직관적인 해석을 제공하고 더 효율적인 하이브리드 솔버 설계를 가능하게 한다.
• 2D 영상 노이즈 제거 및 디컨볼루션에서 새로운 1D-TV 솔버를 활용한 모듈러 프레임워크는 ADMM 및 기타 방법과 비교해 더 빠른 수렴 속도와 경쟁 가능한 ISNR 값을 달성한다.
• 3D 비디오 노이즈 제거에서 병렬 프락시멀 딕스트라(PPD) 알고리즘과 새로운 1D-TV 솔버 조합은 중간 품질의 해를 도달하는 데 가장 빠르며, 초기 반복에서 ADMM 및 골드파브-얀을 능가한다.
• ADMM(Yang의 방법)는 가장 높은 정확도를 달성하고 PPD와 동일한 해에 수렴하지만, 상당히 긴 런타임을 요구하여 실시간 또는 자원 제약이 있는 응용 분야에서는 PPD가 선호되는 선택이다.
• 골드파브-얀 방법은 TV 노름의 이산적 근사화로 인해 최적해에 도달하지 못하는 하위최적해를 생성하며, 이는 PPD 및 ADMM과 같은 연속적, 연속 프락시멀 접근 방식의 우수성을 확인한다.