[논문 리뷰] Averaged Deep Denoisers for Image Regularization

Pravin Nair, Kunal N. Chaudhury|arXiv (Cornell University)|2022. 07. 15.

Image and Signal Denoising Methods인용 수 4

한 줄 요약

이 논문은 플러그 앤 플레이(PnP) 및 노이즈 제거를 통한 정규화(RED) 알고리즘을 사용하여 증명 가능하게 평균화된(contractive) 딥 노이즈 제거기(이미지 정규화를 위한)를 구성하기 위한 새로운 프레임워크를 제안한다. 웨이블릿 기반 노이즈 제거에 대해 ISTA 및 ADMM 반복을 전개함으로써, 수축성(contractive)을 통해 수렴 보장을 확보하며, 딥 컨volution 네트워크(CNN) 노이즈 제거기의 성능을 재현하면서도 이론적 안정성을 제공한다.

ABSTRACT

Plug-and-Play (PnP) and Regularization-by-Denoising (RED) are recent paradigms for image reconstruction that leverage the power of modern denoisers for image regularization. In particular, they have been shown to deliver state-of-the-art reconstructions with CNN denoisers. Since the regularization is performed in an ad-hoc manner, understanding the convergence of PnP and RED has been an active research area. It was shown in recent works that iterate convergence can be guaranteed if the denoiser is averaged or nonexpansive. However, integrating nonexpansivity with gradient-based learning is challenging, the core issue being that testing nonexpansivity is intractable. Using numerical examples, we show that existing CNN denoisers tend to violate the nonexpansive property, which can cause PnP or RED to diverge. In fact, algorithms for training nonexpansive denoisers either cannot guarantee nonexpansivity or are computationally intensive. In this work, we construct contractive and averaged image denoisers by unfolding splitting-based optimization algorithms applied to wavelet denoising and demonstrate that their regularization capacity for PnP and RED can be matched with CNN denoisers. To our knowledge, this is the first work to propose a simple framework for training contractive denoisers using network unfolding.

연구 동기 및 목표

• 비확장성(non-expansive) 노이즈 제거기를 사용할 경우 PnP 및 RED 알고리즘이 발산할 수 있는 불안정성 문제를 해결하기 위해.
• 노이즈 제거기가 수축성(평균화된)임을 보장하는 학습 프레임워크를 개발하여, PnP 및 RED 반복에서 수렴을 보장하기 위해.
• 기존의 비확장성 노이즈 제거기 학습 방식에 비해 계산 비용이 높은 점검이나 제약 조건을 피하는 간단하고 효율적인 대안을 제공하기 위해.
• 웨이블릿 기반 노이즈 제거기를 전개를 통해 구성한 결과, 최신 기술 수준의 CNN 노이즈 제거기와 비교해 정규화 성능이 유사함을 보여주기 위해.
• 연산자 이론과 평균화 성질을 사용하여 제안된 노이즈 제거기의 수축성 및 평균화 성질에 대한 이론적 기반을 구축하기 위해.

제안 방법

• 총변동 기반 웨이블릿 노이즈 제거에 대해 이산 수축-임계값 알고리즘(ISTA) 및 다중수신자 방법의 교대 방식(ADMM)을 딥 네트워크 아키텍처로 전개한다.
• ISTA/ADMM 반복의 다중 전개 레이어를 스택하여 학습된 파rameterized 연산자로서의 노이즈 제거기를 구축한다.
• 기본 웨이블릿 노이즈 제거기(패치 수준)가 수축성 또는 평균화된 성질을 지닐 경우, 국소 연산자의 평균화를 통해 전체 노이즈 제거기가 또한 수축성 또는 평균화된 성질을 지닌다는 것을 수학적으로 증명한다.
• 중첩 패치를 기반으로 한 패치 기반 평균화 기법을 사용하며, 전체 노이즈 제거기는 국소 노이즈 제거 연산자의 균일한 평균으로 표현된다.
• 수축성 또는 평균화된 연산자를 평균화할 경우 그 성질이 유지된다는 성질을 활용하여, PnP 및 RED에서 이론적 수렴 보장을 확보한다.
• 결과적으로 유도된 노이즈 제거기가 증명 가능하게 비확장성이며 수축성임을 입증함으로써, PnP 및 RED에서 수렴 보장을 확보할 수 있으며, 계산 비용이 큰 비확장성 점검이 필요하지 않다.

(a) BM3D.

실험 결과

연구 질문

• RQ1 PnP 및 RED 프레임워크에서 수렴을 보장하기 위해 증명 가능하게 수축성(평균화된)인 딥 노이즈 제거기를 구성할 수 있는가?
• RQ2 이론적으로 탄탄한 비확장성 노이즈 제거기 아키텍처를 사용하여, CNN 기반 노이즈 제거기의 PnP/RED 성능을 재현할 수 있는가?
• RQ3 강제 제약 조건 없이도, 전개된 네트워크를 통해 기반 최적화 알고리즘(예: ISTA/ADMM)의 수축성 성질을 상속할 수 있는가?
• RQ4 전개된 네트워크의 평균화 구조가 중첩 패치 간 수축성을 어떻게 유지하는가?
• RQ5 패치 수준의 노이즈 제거기의 수축성과 평균화된 노이즈 제거기 간의 이론적 관계는 무엇인가?

주요 결과

• 제안된 방법은 웨이블릿 기반 노이즈 제거에 대해 ISTA 및 ADMM를 전개하여 증명 가능하게 수축성인 딥 노이즈 제거기를 구성한다.
• 기본 패치 수준의 노이즈 제거기가 수축성일 경우, 연산자 평균화를 통한 수학적 증명을 통해 결과 노이즈 제거기가 수축성(즉, 평균화된)임을 입증한다.
• 기존의 CNN 노이즈 제거기가 종종 비확장성 조건을 위반하여 발산을 일으키는 것과 달리, 이 방법은 PnP 및 RED 알고리즘의 수렴을 보장한다.
• 수치 실험을 통해 제안된 노이즈 제거기가 PnP 및 RED 환경에서 최신 기술 수준의 CNN 노이즈 제거기와 유사한 복원 성능을 달성함을 확인한다.
• 이 프레임워크는 계산적으로 효율적이며, 기울기 기반 학습에서 비확장성 여부를 점검하기 위한 비현실적인 점검을 피한다.
• 이 연구는 PnP 및 RED에 대한 증명 가능하게 평균화된 노이즈 제거기의 엔드 투 엔드 학습 프레임워크를 처음으로 구축하여, 이 분야의 이론적 수렴 보장에 중요한 격차를 메운다.

(b) DnCNN.