[논문 리뷰] Supervised Learning of Sparsity-Promoting Regularizers for Denoising

Michael T. McCann, Saiprasad Ravishankar|arXiv (Cornell University)|2020. 06. 09.

Image and Signal Denoising Methods참고 문헌 33인용 수 9

한 줄 요약

이 논문은 쌍체의 진짜 이미지와 노이즈가 있는 이미지 쌍에서 재구성 오차를 최소화하도록 정규화자의 파rameter를 학습시켜, 이미지 복원을 위한 스파arsity 유도 분석 연산자를 최적화하는 지도 학습 프레임워크를 제안한다. 이는 이차형, 변분적 공식화를 사용하며, 정규화자의 매개변수를 학습시켜 재구성 오차를 최소화한다. 주요 기여는 비차별 가능한 ℓ1 노름을 이완하지 않고도 끝에서 끝까지 학습이 가능한 KKT 조건을 통한 기울기 계산이다. 이는 기존의 방법들과 비지도 학습 방법들보다 뛰어난 복원 성능을 달성한다.

ABSTRACT

We present a method for supervised learning of sparsity-promoting regularizers for image denoising. Sparsity-promoting regularization is a key ingredient in solving modern image reconstruction problems; however, the operators underlying these regularizers are usually either designed by hand or learned from data in an unsupervised way. The recent success of supervised learning (mainly convolutional neural networks) in solving image reconstruction problems suggests that it could be a fruitful approach to designing regularizers. As a first experiment in this direction, we propose to denoise images using a variational formulation with a parametric, sparsity-promoting regularizer, where the parameters of the regularizer are learned to minimize the mean squared error of reconstructions on a training set of (ground truth image, measurement) pairs. Training involves solving a challenging bilievel optimization problem; we derive an expression for the gradient of the training loss using Karush-Kuhn-Tucker conditions and provide an accompanying gradient descent algorithm to minimize it. Our experiments on a simple synthetic, denoising problem show that the proposed method can learn an operator that outperforms well-known regularizers (total variation, DCT-sparsity, and unsupervised dictionary learning) and collaborative filtering. While the approach we present is specific to denoising, we believe that it can be adapted to the whole class of inverse problems with linear measurement models, giving it applicability to a wide range of image reconstruction problems.

연구 동기 및 목표

• 이미지 복원에서 스파arsity 유도 정규화자를 최적화하기 위한 지도 학습 방법을 개발하여, 수작업으로 만든 또는 비지도 학습 정규화자들을 넘어서는 것.
• 학습 세트에서 재구성 오차를 최소화하는 이중 최적화 문제로 정규화된 분석 연산자(W_θ)를 학습하는 데 도전하는 것.
• 비차별 가능한 ℓ1 노름을 이완하지 않고도 정확한 기울기를 도출하기 위해 KKT 조건을 사용하여 학습 손실의 정확한 기울기를 유도하는 것.
• 표준 스파arsity 기반 정규화자들과 비교하여 지도 학습을 통한 분석 연산자 학습이 복원 성능 향상에 기여하는지 보여주는 것.
• 이 접근법을 일반적인 선형 역문제와 비선형 정규화자(예: CNN 기반 연산자)로 확장하기 위한 기반을 마련하는 것.

제안 방법

• 이 방법은 변분적 복원 공식을 사용한다: ||x − y||²/2 + β||W_θ x||₁, 여기서 W_θ는 매개변수화된 분석 연산자이고 β는 고정된 정규화 강도이다.
• 학습 목표 Q(θ)는 (x_t, y_t) 쌍으로 구성된 학습 세트에서 재구성 이미지 x*(W_θ, y_t)와 진짜 이미지 x_t 사이의 평균 제곱오차로 정의된다.
• 핵심 혁신은 비차별 가능한 ℓ1 노름을 이완하지 않고도 KKT(카루시–쿠른–터커) 조건을 사용하여 Q(θ)의 기울기를 유도하는 것이다. 이는 내부 최적화 문제의 해를 통해 정확한 역전파를 가능하게 한다.
• 기울기는 복원 하위 문제의 KKT 조건에서 유도된 선형 시스템을 풀어 계산되며, 이는 θ를 최적화하기 위한 경사하강법을 가능하게 한다.
• 이 방법은 2차원 이미지 데이터셋을 사용한 합성 복원 작업에 적용되었으며, W_θ는 DCT 변환으로 초기화되고 데이터 분포에 적응하도록 학습된다.
• 이 방법은 학습된 필터와 그 반응 맵을 분석하기 위해 확장되었으며, 필터 구조와 스파arsity 패턴 측면에서 DCT와 비지도 사전 학습 방법과 비교된다.

실험 결과

연구 질문

• RQ1 표준 스파arsity 유도 정규화자(예: 총 변동성, DCT)와 비교해 지도 학습을 통한 분석 연산자 학습이 이미지 복원 성능을 크게 향상시킬 수 있는가?
• RQ2 비차별 가능한 ℓ1 정규화자가 포함된 이중 학습 목표의 기울기를 KKT 조건을 사용해 계산하는 것이 가능한가?
• RQ3 비지도 사전 학습 방법으로 구한 필터와 비교해 학습된 필터는 수직성, 필터 노름, 반응 패턴 측면에서 어떻게 다를까?
• RQ4 선형 전진 모델 H를 포함함으로써 이 방법이 복원을 넘어서는 더 복잡한 역문제로 일반화될 수 있는가?
• RQ5 비정규화된, 가중치가 부여된 필터 등 매개변수화의 유연성은 재구성 품질에 어떤 영향을 미치는가?

주요 결과

• 시험 이미지에서 지도 학습 방법은 23.2 dB의 피크 신호 대 노이즈비(PSNR)를 달성하여 총 변동성(23.2 dB), DCT(22.1 dB), 비지도 사전 학습(22.9 dB)을 모두 능가했으며, 오차 맵에서 노이즈가 덜 드러나 있었다.
• 학습된 분석 연산자는 노름이 0.75에서 1.54 사이로 다양하고, 수직성이 없는 필터를 생성하여 평탄한 영역에서는 노이즈 감소를 위해 더 적응적인 스무딩을 가능하게 했다.
• 집합적 필터 반응 맵을 통해 지도 학습 방법은 DCT 및 비지도 방법과 비교해 이미지 모서리에서 반응을 강조하고 가장자리에서는 반응을 감소시켜 구조 보존성이 향상되었음을 보여주었다.
• 비지도 사전 학습과 마찬가지로 DCT 필터로 초기화되었음에도 불구하고, 지도 학습 방법이 더 뛰어난 성능을 보였으며, 이는 정규화자 학습에서 지도 학습의 이점이 있음을 시사한다.
• KKT 기반 기울기 계산은 ℓ1 페널티를 이완하지 않고도 분석 연산자를 효과적으로 학습시켰으며, 비차별 가능한 이중 최적화를 위한 이론적 프레임워크의 타당성을 입증했다.
• 이 방법은 일반적인 선형 역문제와 비선형 정규화자(예: CNN 기반 연산자)로의 확장 가능성을 보여주지만, 정규화자가 비볼록일 경우 내부 최적화 문제를 해결하는 데 도전 과제가 남아 있다.