[논문 리뷰] New explicit thresholding/shrinkage formulas for one class of regularization problems with overlapping group sparsity and their applications

Gang Liu, Ting‐Zhu Huang외 2명|arXiv (Cornell University)|2013. 12. 24.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 3

한 줄 요약

이 논문은 이동 불변성 있는 오버랩핑 그룹 스파arsity(OGS) 정규화 문제를 위한 새로운 명시적 임계값 설정/수축 공식을 제안하며, 이는 교차 방법 다중 승수(ADMM)를 통해 효율적인 해법을 가능하게 한다. 주요 기여는 반복적인 주도 최소화를 피하는 폐쇄형 수축 해법을 제공함으로써, 전체 영상 복원 및 노이즈 제거에서 계산 효율성을 크게 향상시키면서도 높은 정확도를 유지한다는 점이다.

ABSTRACT

The least-square regression problems or inverse problems have been widely studied in many fields such as compressive sensing, signal processing, and image processing. To solve this kind of ill-posed problems, a regularization term (i.e., regularizer) should be introduced, under the assumption that the solutions have some specific properties, such as sparsity and group sparsity. Widely used regularizers include the $\ell_1$ norm, total variation (TV) semi-norm, and so on. Recently, a new regularization term with overlapping group sparsity has been considered. Majorization minimization iteration method or variable duplication methods are often applied to solve them. However, there have been no direct methods for solve the relevant problems because of the difficulty of overlapping. In this paper, we proposed new explicit shrinkage formulas for one class of these relevant problems, whose regularization terms have translation invariant overlapping groups. Moreover, we apply our results in TV deblurring and denoising with overlapping group sparsity. We use alternating direction method of multipliers to iterate solve it. Numerical results also verify the validity and effectiveness of our new explicit shrinkage formulas.

연구 동기 및 목표

• 오버랩핑 그룹 스파arsity(OGS) 정규화 문제의 기존 방법들이 반복적인 주도 최소화나 변수 복제에 의존하는 계산 비효율성을 해결하기 위해.
• 이동 불변성 있는 오버랩핑 그룹을 가진 특정 OGS 정규화 문제에 대해 폐쇄형 임계값 설정/수축 공식을 개발하기 위해.
• 이러한 공식을 총변동성(TV) 기반 영상 복원 및 노이즈 제거에 적용하여 속도와 해의 품질을 모두 향상시키기 위해.
• L1 및 L2 피드백 항을 모두 고려할 때, 제안된 ADMM 기반 알고리즘의 수렴 보장을 확립하기 위해.
• 다양한 노이즈 수준과 블러 조건에서 제안된 방법의 강인성과 넓은 매개변수 범위를 입증하기 위해.

제안 방법

• 이동 불변성 있는 오버랩핑 그룹을 가진 OGS 정규화에서 발생하는 최적화 부분 문제에 대해 명시적 수축 공식을 제안한다.
• 오버랩핑 그룹 노름이 존재하는 상황에서 소프트-임계값 설정 유사 연산에 대해 폐쇄형 해를 유도하여 내부 반복 계산을 피한다.
• 교차 방법 다중 승수(ADMM)를 사용하여 전체 최적화 문제를 해결하며, 유도된 명시적 공식을 활용해 빠른 업데이트를 구현한다.
• 영상 복원 및 노이즈 제거에 대해 이방향(ATV) 및 등방향(ITV) TV 모델 모두에 프레임워크를 확장한다.
• 이동 불변성을 유지하고 해석적 접근 가능성을 확보하기 위해 그룹 간 동일한 가중치를 가진 가중치화된 일반화된 ℓ2,1-노름 정규화를 사용한다.
• 수렴을 가속화하고 반복을 안정화하기 위해 ADMM에서 안정성 파rameter(γ = 1.618)를 활용한다.

실험 결과

연구 질문

• RQ1 이동 불변성 있는 오버랩핑 그룹을 가진 OGS 정규화 문제의 특정 클래스에 대해 명시적 수축 공식을 도출할 수 있는가?
• RQ2 이러한 공식은 반복적인 부분 문제 해법 없이 ADMM 프레임워크에 효율적으로 통합되어 영상 복원 및 노이즈 제거 문제를 해결할 수 있는가?
• RQ3 제안된 방법의 성능는 PSNR, 재구성 오차, 계산 시간 측면에서 기존 방법과 비교해 어떻게 되는가?
• RQ4 제안된 방법은 다양한 노이즈 수준과 블러 조건에서도 강인성을 유지하는가?
• RQ5 이 프레임워크는 오버랩핑 그룹 스파arsity를 가진 이방향 및 등방향 TV 모델로 확장될 수 있는가?

주요 결과

• 제안된 명시적 수축 공식은 내부 반복적 해법 소거를 통해 ADMM 반복당 계산 비용을 기존 TV 방법과 거의 동일한 수준으로 낮춘다.
• 30%의 소금-후추 노이즈 조건에서, 제안된 CATVOGSL1 및 CITVOGSL1 방법은 (d)번 이미지에서 각각 32.30 dB 및 32.08 dB의 PSNR를 기록하며, Chan [6]을 초월하고 Liu [24]와 동일한 PSNR 성능를 달성하면서도 더 빠른 속도를 보인다.
• 매개변수 선택에 있어 강인성을 보이며, 다양한 노이즈 수준(30%, 40%, 50%)과 영상 유형에서 일관된 성능을 유지한다.
• 수치 결과는 제안된 ATV 및 ITV 변형이 Liu [24]가 내부 MM 반복을 사용하는 것보다 비교적 또는 더 우수한 PSNR 및 재구성 오차를 달성함을 보여준다.
• 새로운 수축 공식을 적용한 ADMM 기반 알고리즘은 신뢰성 있게 수렴하며, L1 및 L2 피드백 모델 모두에 대해 수렴 보장을 확립하였다.
• 그림 6의 시각적 결과는 제안된 방법이 Chan [6]보다 더 잘 세부 가장자리(예: 계단 난간, 창문)를 유지하며, Liu [24]와 경쟁 가능한 가장자리 복원 성능도 확보한다.