[논문 리뷰] Deep Generalized Unfolding Networks for Image Restoration

Chong Mou, Qian Wang외 1명|arXiv (Cornell University)|2022. 04. 28.

Advanced Image Processing Techniques인용 수 14

한 줄 요약

이 논문은 학습 가능한 기울기 추정 모듈과 스테이지 간 특징 병합을 통합함으로써, 이미지 복원을 위한 프록실 제수강하법(PGD)을 일반화하는 가중치 학습이 가능한 해석 가능한 딥러닝 프레임워크인 딥 일반화 언폴딩 네트워크(DGUNet)를 제안한다. 이 방법은 노이즈 제거, 비올림, 강우 제거, 압축 감지 등 다양한 이미지 복원 작업에서 최신 기술 수준의 성능을 달성하며, 사전 정의된 오염 모델이 필요 없이 실제 복잡한 오염 환경에 대해 투명성과 강건성을 유지한다.

ABSTRACT

Deep neural networks (DNN) have achieved great success in image restoration. However, most DNN methods are designed as a black box, lacking transparency and interpretability. Although some methods are proposed to combine traditional optimization algorithms with DNN, they usually demand pre-defined degradation processes or handcrafted assumptions, making it difficult to deal with complex and real-world applications. In this paper, we propose a Deep Generalized Unfolding Network (DGUNet) for image restoration. Concretely, without loss of interpretability, we integrate a gradient estimation strategy into the gradient descent step of the Proximal Gradient Descent (PGD) algorithm, driving it to deal with complex and real-world image degradation. In addition, we design inter-stage information pathways across proximal mapping in different PGD iterations to rectify the intrinsic information loss in most deep unfolding networks (DUN) through a multi-scale and spatial-adaptive way. By integrating the flexible gradient descent and informative proximal mapping, we unfold the iterative PGD algorithm into a trainable DNN. Extensive experiments on various image restoration tasks demonstrate the superiority of our method in terms of state-of-the-art performance, interpretability, and generalizability. The source code is available at https://github.com/MC-E/Deep-Generalized-Unfolding-Networks-for-Image-Restoration.

연구 동기 및 목표

• 이미지 복원을 위한 블랙박스 딥 뉴럴 네트워크의 해석 가능성과 일반화 부족 문제를 해결하기 위해.
• 기존의 딥 언폴딩 네트워크(DUNs)가 알려진 또는 수작업으로 설정된 오염 모델을 필요로 하는 한계를 극복하기 위해.
• 각 스테이지에서 이미지를 재구성함으로써 발생하는 내재적 정보 손실을 줄이기 위해.
• 복잡한 실제 이미지 오염 환경에 일반화할 수 있는 구조적 최적화 기반 네트워크의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 모델 기반 방법의 해석 가능성과 딥 러닝의 표현력 및 효율성을 결합하기 위해.

제안 방법

• 이 방법은 프록실 제수강하법(PGD)을 사용하여 이미지 복원을 최적화 문제로 공식화하고, 이를 딥 뉴럴 네트워크 아키텍처로 언폴딩한다.
• 오염 행렬 A에 대한 사전 지식이 없는 상황에서도 기울기를 추정할 수 있도록 융통성 있는 기울기 강하 모듈(FGDM)을 도입하여, 실제 복잡한 오염 환경을 다룰 수 있도록 한다.
• 스테이지 간 특징 병합 경로(ISFF)를 설계하여 PGD 반복 과정에서 다중 척도, 공간 적응형 특징을 유지하고 전달함으로써 각 스테이지에서의 이미지 재구성으로 인한 정보 손실을 완화한다.
• ISFF 모듈은 공간 적응형 정규화를 사용하여 다양한 척도의 특징을 동적으로 가중함으로써 특징 표현의 정밀도를 향상시킨다.
• 전체 네트워크는 엔드 투 엔드로 학습되어 언폴딩 과정과 학습된 구성 요소(예: FGDM 및 ISFF 모듈)를 함께 최적화할 수 있다.
• 데이터 피드백 및 정규화 항을 적절히 조정함으로써 노이즈 제거, 블러 제거, 강우 제거, 압축 감지 등 다양한 이미지 복원 작업에 프레임워크를 적용한다.

Figure 1 : Real image denoising performance (y-axis) of our DGUNet and some recent denoisers (VDNet [ 75 ] , GDANet [ 76 ] , AINDNet [ 33 ] , MIRNet [ 78 ] , DeamNet [ 53 ] , MPRNet [ 79 ] ) under different parameter capacities (x-axis) on DND [ 52 ] dataset.

실험 결과

연구 질문

• RQ1 명시적인 오염 모델링 없이도 복잡한 실제 이미지 오염에 대해 강건한 딥 언폴딩 네트워크를 설계할 수 있는가?
• RQ2 딥 언폴딩 네트워크에서 각 스테이지에서 이미지를 재구성함으로써 발생하는 정보 손실을 효과적으로 완화할 수 있는가?
• RQ3 학습 가능한 기울기 추정 모듈을 통합할 경우 성능 향상과 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 다중 척도 및 공간 적응 메커니즘을 갖춘 스테이지 간 특징 병합이 특징 표현과 모델 성능을 향상시키는가?
• RQ5 가능한 최적화 기반 딥 네트워크가 해석 가능성과 함께 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• DND 데이터셋에서 DGUNet은 MPRNet보다 PSNR 기준 0.32 dB 높은 최신 기술 수준의 성능을 기록했다.
• SIDD 데이터셋에서 DGUNet은 MPRNet보다 PSNR 기준 0.20 dB 높은 성능을 기록하여 실제 노이즈에 대해 강력한 강건성을 입증했다.
• 1% 샘플링 비율에서의 압축 감지 작업에서 DGUNet은 OPINENet+보다 2 dB의 성능 향상을 기록하여 저샘플링 환경에서의 효과성을 입증했다.
• 제거 실험 결과, ISFF 모듈을 제거할 경우 성능 저하가 발생하여, 스테이지 간 특징 정보 유지에 있어 이 모듈의 핵심적 역할을 확인했다.
• FGDM 모듈는 성능 향상에 기여하며, Rain100H에서 이 모듈을 제거하면 PSNR가 0.55 dB 감소함으로써, 단순한 해석 가능성 이상의 가치를 지닌다.
• 합성 및 실제 벤치마크를 포함한 다양한 작업에 대해 우수한 일반화 능력을 보이며, PSNR 및 SSIM 측정치에서 일관된 향상을 기록했다.

Figure 2 : Illustration of our proposed deep generalized unfolding network (DGUNet). We present the overall architecture in the first row, mainly composed of several stages. Each stage corresponds to an iteration in the PGD algorithm. The second row presents the detailed design of each stage, contai