[논문 리뷰] The Little Engine that Could: Regularization by Denoising (RED)

Yaniv Romano, Michael Elad외 1명|arXiv (Cornell University)|2016. 11. 09.

Image and Signal Denoising Methods참고 문헌 47인용 수 10

한 줄 요약

이 논문은 역 문제 최적화에서 사전 훈련된 디노이징 알고리즘을 명시적인 정규화 항으로 사용하는 새로운 프레임워크인 정규화를 통한 디노이징(RED)을 제안한다. 플러그 앤 플레이 프리오르(P³) 방법과 달리, RED는 명확하고 영상에 적응적인 라플라시안 기반 정규화 기능을 수립하여 유연한 최적화와 전역 수렴을 가능하게 하며, 디블러링 및 슈퍼레졸루션에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Removal of noise from an image is an extensively studied problem in image processing. Indeed, the recent advent of sophisticated and highly effective denoising algorithms lead some to believe that existing methods are touching the ceiling in terms of noise removal performance. Can we leverage this impressive achievement to treat other tasks in image processing? Recent work has answered this question positively, in the form of the Plug-and-Play Prior ($P^3$) method, showing that any inverse problem can be handled by sequentially applying image denoising steps. This relies heavily on the ADMM optimization technique in order to obtain this chained denoising interpretation. Is this the only way in which tasks in image processing can exploit the image denoising engine? In this paper we provide an alternative, more powerful and more flexible framework for achieving the same goal. As opposed to the $P^3$ method, we offer Regularization by Denoising (RED): using the denoising engine in defining the regularization of the inverse problem. We propose an explicit image-adaptive Laplacian-based regularization functional, making the overall objective functional clearer and better defined. With a complete flexibility to choose the iterative optimization procedure for minimizing the above functional, RED is capable of incorporating any image denoising algorithm, treat general inverse problems very effectively, and is guaranteed to converge to the globally optimal result. We test this approach and demonstrate state-of-the-art results in the image deblurring and super-resolution problems.

연구 동기 및 목표

• 기존 플러그 앤 플레이 방법의 역 문제 처리에서의 한계를 해결하기 위해 더 체계적이고도 융통성 있는 정규화 프레임워크를 제공하는 것.
• 플러그 앤 플레이 프리오르(P³)에서의 암묵적이고 잘 정의되지 않은 정규화를 명시적이고 수학적으로 잘 정의된 정규화로 대체함으로써 문제를 해결하는 것.
• 일반적인 역 문제에서 어떤 디노이징 알고리즘도 정규화 항으로 사용할 수 있도록 하되, 수렴성과 안정성을 보장하는 것.
• 디노이징을 순차적 디노이징 단계가 아닌 최적화 기반의 정규화 기능으로 간주하는 통합된 최적화 기반 프레임워크를 제공하는 것.
• 이러한 방법이 도전적인 역 문제, 예를 들어 영상 디블러링 및 슈퍼레졸루션에서 효과적임을 보여주는 것.

제안 방법

• 디노이징 엔진에서 유도된 명시적 영상 적응형 라플라시안 기반 정규화 기능을 제안하며, 이를 $ \rho_L(\mathbf{x}) = \frac{1}{2} \| \nabla_{\mathbf{x}} f(\mathbf{x}) \|_F^2 $ 로 정의한다. 여기서 $ f $ 는 디노이저이다.
• 역 문제를 정규화된 목적 함수의 최소화 문제로 재구성한다: $ \min_{\mathbf{x}} \| \mathbf{y} - \mathbf{Hx} \|_2^2 + \lambda \rho_L(\mathbf{x}) $, 여기서 $ \mathbf{H} $ 는 열악화 연산자이다.
• 고정점 반복을 사용하여 최적화 문제를 해결하며, 디노이저의 기울기를 활용하여 온건한 조건 하에서 수렴을 보장한다.
• 디노이저가 미분 가능하고 그 자코비안에 대해 수동성 조건을 만족시키면 수렴을 보장한다: $ \| \nabla_{\mathbf{x}} f(\mathbf{x}) \|_2 \leq 1 $.
• BM3D, NLM, K-SVD, CNN 기반 알고리즘 등 어떤 디노이징 알고리즘도 정규화 항으로 통합하여 다양한 역 문제에 플러그 앤 플레이 방식으로 활용할 수 있도록 지원한다.
• P³에서의 ADMM 의존성을 피함으로써 최적화 선택의 유연성을 높이고, 수렴 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 디노이징 알고리즘이 순차적 반복 프로세스의 흑상자 단계가 아니라, 역 문제에서 명시적이고 잘 정의된 정규화 항으로 사용될 수 있는가?
• RQ2 디노이저의 기울기를 통한 정규화 수식화가 암묵적 프리오르에 비해 더 안정적이고 수렴 가능한 최적화 프레임워크를 제공하는가?
• RQ3 제안된 RED 프레임워크가 P³와 같은 기존 플러그 앤 플레이 방법보다 표준 역 문제에서 더 우수한 성능을 내는가?
• RQ4 디노이저의 미분 가능성과 유계 자코비안 등의 온건한 가정 하에 최적화 과정의 수렴이 보장되는가?
• RQ5 이 프레임워크는 디블러링, 슈퍼레졸루션 등 다양한 역 문제에 최소한의 수정으로 적용 가능한가?

주요 결과

• RED는 디블러링 및 슈퍼레졸루션 분야에서 최신 기술 수준의 성능을 달성하며, P³ 및 기타 디노이징 기반 접근법보다 뛰어난 성능을 보인다.
• 디노이저가 미분 가능하고 자코비안이 수동성 조건을 만족하면 온건한 가정 하에 전역 수렴이 보장된다.
• 정규화 기능은 명시적으로 정의되며 디노이저의 기울기에서 유도되어 최적화 목표 함수가 명확하고 수학적으로 타당하다.
• 프레임워크는 매우 융통성 있고, BM3D 및 K-SVD와 같은 비선형·비볼록 디노이저를 포함한 어떤 디노이징 알고리즘도 정규화 항으로 지원한다.
• P³의 ADMM 의존성을 피함으로써 모든 반복 최적화 기법을 사용할 수 있으며, 수렴 안정성을 향상시킨다.
• 실험 결과는 다양한 노이즈 수준과 열악화 모델에서 고해상도 복원이 유지되며, 벤치마크 과제에서 PSNR 및 SSIM 값이 향상됨을 보여준다.