[논문 리뷰] Bridging Degradation Discrimination and Generation for Universal Image Restoration

JiaKui Hu, Zhengjian Yao외 2명|arXiv (Cornell University)|2026. 01. 31.

Advanced Image Processing Techniques인용 수 0

한 줄 요약

BDG는 미세한 열화 구분을 위한 MAS-GLCM과 열화 인식과 생성 사전 지식을 연결하는 세 단계 확산 학습 프레임워크를 도입하여 보편적 이미지 복원을 실현한다.

ABSTRACT

Universal image restoration is a critical task in low-level vision, requiring the model to remove various degradations from low-quality images to produce clean images with rich detail. The challenges lie in sampling the distribution of high-quality images and adjusting the outputs on the basis of the degradation. This paper presents a novel approach, Bridging Degradation discrimination and Generation (BDG), which aims to address these challenges concurrently. First, we propose the Multi-Angle and multi-Scale Gray Level Co-occurrence Matrix (MAS-GLCM) and demonstrate its effectiveness in performing fine-grained discrimination of degradation types and levels. Subsequently, we divide the diffusion training process into three distinct stages: generation, bridging, and restoration. The objective is to preserve the diffusion model's capability of restoring rich textures while simultaneously integrating the discriminative information from the MAS-GLCM into the restoration process. This enhances its proficiency in addressing multi-task and multi-degraded scenarios. Without changing the architecture, BDG achieves significant performance gains in all-in-one restoration and real-world super-resolution tasks, primarily evidenced by substantial improvements in fidelity without compromising perceptual quality. The code and pretrained models are provided in https://github.com/MILab-PKU/BDG.

연구 동기 및 목표

• 보편적 이미지 복원에서 다양한 열화를 처리하기 위한 단일 모델의 필요성을 해결한다.
• 데 degradation 유형과 수준을 구분하기 위한 미세한 열화 특성화 방법을 개발한다.
• 아키텍처를 변경하지 않고 확산 기반 생성과 열화 구분을 통합한다.
• 올인원 및 현실 세계 시나리오에서 생성 사전 정보를 보존하면서 복원 품질을 향상한다.
• 혼합 열화와 현실 세계 초해상도에서 강건한 복원을 가능하게 한다.

제안 방법

• 다중 각도 및 다중 스케일 그레이 레벨 공변 행렬인 MAS-GLCM을 도입하여 열화 유형과 수준을 구분한다.
• 확산 역과정을 재정의하고 세 단계 학습(생성 전훈련, 다리 놓기, 및 복원 미세 조정을 포함한 3단계 학습)을 구현한다.
• MAS-GLCM 특징을 확산 특징과 정렬하여 가교 손실과 열화 분류 손실을 통해 열화 구분과 생성 사전 정보를 연결한다.
• 잔차와 LQ 입력을 확산 모델의 조건으로 사용하여 조건부 복원을 가능하게 한다.
• all-in-one 5D 복원 설정으로 학습하고 현실 세계 및 혼합 열화 태스크에서 평가한다.
• 현실 세계 열화의 복잡성을 시뮬레이션하기 위해 열화 진행 순서 기반의 의사 라벨을 도입한다.

Figure 1: (1) Visualization of MAS-GLCM in varying degradation levels. With an increase in degradation levels, the MAS-GLCM exhibits significant transformations. (2) The results of the T-SNE analysis for LQ images and MAS-GLCM across various degradation types demonstrate that MAS-GLCM possesses an e

실험 결과

연구 질문

• RQ1 MAS-GLCM이 기존의 특성화 범주를 넘어 더 미세한 열화 구분을 제공할 수 있는가?
• RQ2 세 단계 BDG 확산 학습이 다양한 열화에 걸쳐 생성 사전 정보를 유지하면서 복원 충실도를 향상시키는가?
• RQ3 최신 방법과 비교하여 BDG가 올인원, 혼합 열화 및 실제 글로벌 초해상도 태스크에서 어떤 성능을 보이는가?
• RQ4 가교 및 degradation-cls 손실이 복원 품질과 충실도에 미치는 영향은 무엇인가?
• RQ5 현실 세계의 열화 순서를 효과적으로 사용하여 강인한 복원 모델을 학습할 수 있는가?

주요 결과

• BDG는 deraining, 저조도 개선, 안개 제거, 모션 흐림 제거 등 올인원 복원 태스크에서 최첨단 성능을 달성한다.
• BDG는 DiffUIR을 크게 능가하고 혼합 열화 시나리오에서 여러 지표(예: PSNR/SSIM)를 개선하며 특히 안개와 비 조건에서 강한 향상을 보인다.
• 현실 세계 SR에서 BDG는 전체 참조 지표(PSNR/SSIM/LPIPS)에서 최상위 또는 근접 최상위를, 비참조 지표(MANIQA, MUSIQ, CLIPIQA)에서도 경쟁력을 보인다.
• 계통분석은 가교 단계와 복원 미세 조정 단계 모두가 최적 성능에 필수적이며, degradation-cls 손실이 가교 중 인코더 붕괴를 방지한다는 것을 보여준다.
• MAS-GLCM은 Sobel, Laplace, Fourier 기반 특징과 비교했을 때 열화 유형 및 수준 분류 정확도에서 우수하다.
• 모델은 열화 구분과 생성 사전 정보를 정렬하여 복원 충실도를 향상시키면서도 풍부한 질감 생성을 보존한다.

Figure 2: Three training stages in BDG. (1) During the generation stage, the model focuses on obtaining generation priors. (2) In the bridging stage, the MAS-GLCM, which can identify degradation fine-grainedly, is aligned with the features of the pre-trained generation model, thereby endowing the mo