[논문 리뷰] DeepRED: Deep Image Prior Powered by RED

Gary Mataev, Michael Elad외 1명|arXiv (Cornell University)|2019. 03. 25.

Image and Signal Denoising Methods참고 문헌 33인용 수 35

한 줄 요약

DeepRED는 Deep Image Prior를 Regularization by Denoising(RED)과 함께 ADMM을 사용하여 생성 네트워크와 디노이저 기반 선행 정보를 공동으로 최적화하고, 노이즈 제거, 고해상도 복원(SISR), 블러 제거에서 비지도 이미지 복원 결과를 향상시킵니다.

ABSTRACT

Inverse problems in imaging are extensively studied, with a variety of strategies, tools, and theory that have been accumulated over the years. Recently, this field has been immensely influenced by the emergence of deep-learning techniques. One such contribution, which is the focus of this paper, is the Deep Image Prior (DIP) work by Ulyanov, Vedaldi, and Lempitsky (2018). DIP offers a new approach towards the regularization of inverse problems, obtained by forcing the recovered image to be synthesized from a given deep architecture. While DIP has been shown to be quite an effective unsupervised approach, its results still fall short when compared to state-of-the-art alternatives. In this work, we aim to boost DIP by adding an explicit prior, which enriches the overall regularization effect in order to lead to better-recovered images. More specifically, we propose to bring-in the concept of Regularization by Denoising (RED), which leverages existing denoisers for regularizing inverse problems. Our work shows how the two (DIP and RED) can be merged into a highly effective unsupervised recovery process while avoiding the need to differentiate the chosen denoiser, and leading to very effective results, demonstrated for several tested problems.

연구 동기 및 목표

• 영상에서의 비지도 역문제 해결을 DIP를 explicit한 정규화 선행 정보를 강화하여 촉진하고 개선한다.
• REGULARIZATION BY DENOISING(RED)을 활용하여 DIP의 암시적 정규화를 보강한다.
• DEN의 미분을 피하면서 공동 DIP+RED 목적함수를 학습하는 ADMM 기반 최적화 방식을 개발한다.
• DIP와 RED가 결합된 DeepRED가 denoising, SISR, deblurring에서 DIP와 RED보다 향상된 성능을 보임을 입증한다.

제안 방법

• DeepRED 목적함수를 DIP 재구성 손실과 RED 선행 정보를 결합하여 형식화한다: min_{x, Theta} 1/2 ||H T_theta(z) - y||^2_2 + (lambda/2) x^T (x - f(x)) with x = T_theta(z).
• x = T_theta(z) 제약을 다루고 Theta, x, Lagrange 승수 u에 대한 교대 업데이트를 도출하기 위해 증강 라그랑지안(Augmented Lagrangian)을 사용한다.
• 데이터 일관성 항과 x - u에 가깝게 T_theta(z)와 가까이를 유지하는 근사 항을 포함하여 데이터를 업데이트 Theta를 최소화한다( Eq. 7 ).
• T_theta(z) + u의 RED 기반 디노이징을 통해 x를 업데이트하고 고정점 반복(Eq. 11) 또는 최급하강 스텝(Eq. 12)을 사용한다.
• ADMM 규칙 u <- u - x + T_theta(z)로 이중 변수 u를 업데이트한다.
• 한 ADMM 사이클당 J=1 RED 반복을 사용하고, 계산 속도를 높이기 위해 Theta 업데이트와 병렬로 디노이저를 실행하는 것을 선택적으로 수행한다.

실험 결과

연구 질문

• RQ1 RED 정규화가 DIP 기반 비지도 이미지 복원 프레임워크를 향상시킬 수 있는가?
• RQ2 DIP+RED(DeepRED)의 결합이 denoising, 단일 이미지 초해상(SISR), 및 블러 제거에서 DIP와 RED를 각각 능가하는가?
• RQ3 ADMM을 사용하여 디노이저를 미분하지 않고 공동 DIP+RED 목적함수를 최적화하는 것이 가능한가?
• RQ4 DeepRED가 비지도 방법 및 일부 지도 방법과 비교하여 SISR 및 deblurring에서 어떻게 성능이 나타나는가?
• RQ5 ADMM을 통한 DIP와 RED 통합 시 속도, 수렴 등 실용적 고려사항은 무엇인가?

주요 결과

• DeepRED는 denoising에서 DIP 및 RED보다 PSNR이 향상됨(예를 들어, 테스트 이미지에서 DIP 평균 30.53 dB 대 DeepRED 31.24 dB).
• SISR에서 DeepRED는 일관되게 DIP와 RED보다 우수하며, 여러 데이터셋과 스케일에서 감독 학습 방식에 근접하거나 이를 상회한다(예: 표 2–4에 제시된 4:1 및 8:1 업스케일링 결과).
• 이미지 디블러링의 경우 DeepRED는 다양한 블러 유형과 이미지에서 DIP, RED 및 여러 베이스라인보다 우수한 성능을 보이며(색상은 표 5, 흑백은 표 6의 평균 향상치 등으로 기술).
• DeepRED는 일관된 손실 감소 및 축소되는 ADMM 제약 간격으로 강건한 수치적 동작을 보이며, RED는 DIP의 과적합을 완화하는 정규화를 제공한다.