[논문 리뷰] JPEG Artifact Correction using Denoising Diffusion Restoration Models

Bahjat Kawar, Jiaming Song외 2명|arXiv (Cornell University)|2022. 09. 23.

Generative Adversarial Networks and Image Synthesis인용 수 16

한 줄 요약

이 논문은 미리 훈련된 비조건부 확산 모델을 활용하여 재질소거 없는 JPEG 아티팩트 보정 방법을 제안한다. 이는 선형 연산자에 국한되지 않고 JPEG 인코딩/디코딩과 같은 비선형 연산자로 일반화된 의사역행렬 개념을 적용한다. 재훈련 없이도 다양한 품질 계수에서 최신 기술 수준의 성능을 달성하며, 저품질 JPEG에서 전용 모델보다 뛰어난 성능을 보이며, 양자화 해제 작업으로도 일반화된다.

ABSTRACT

Diffusion models can be used as learned priors for solving various inverse problems. However, most existing approaches are restricted to linear inverse problems, limiting their applicability to more general cases. In this paper, we build upon Denoising Diffusion Restoration Models (DDRM) and propose a method for solving some non-linear inverse problems. We leverage the pseudo-inverse operator used in DDRM and generalize this concept for other measurement operators, which allows us to use pre-trained unconditional diffusion models for applications such as JPEG artifact correction. We empirically demonstrate the effectiveness of our approach across various quality factors, attaining performance levels that are on par with state-of-the-art methods trained specifically for the JPEG restoration task.

연구 동기 및 목표

• 이미지 복원에서 선형 역문제에 국한된 기존 확산 모델의 한계를 해결하기 위해.
• JPEG과 같은 비선형 열화 모델을 위한 사전 훈련된 비조건부 확산 모델을 사용해 문제에 종속되지 않는 이미지 복원을 가능하게 하기 위해.
• 특히 전용 모델이 실패하는 저품질 JPEG에서의 일반화를 향상시키기 위해 품질 계수 전반에 걸쳐 성능을 개선하기 위해.
• JPEG 인코딩 및 디코딩과 같은 비선형 측정 연산자로 일반화된 의사역행렬 개념을 확장하여 DDRM을 선형 연산자 외부로 확장하기 위해.
• 특수한 태스크에 맞게 미세조정 없이도 이 방법이 JPEG 아티팩트 보정 및 이미지 양자화 해제에 효과적으로 작용하는지 입증하기 위해.

제안 방법

• DDRM의 의사역행렬 연산자를 JPEG 인코딩 및 디코딩을 일반화된 역쌍으로 간주하여 비선형 측정 연산자로 일반화한다.
• 선형 연산자와 그 의사역행렬을 JPEG 인코딩 및 디코딩 함수로 대체함으로써 DDRM 업데이트 규칙을 수정한다.
• 노이즈 제거 U-Net을 갖춘 사전 훈련된 비조건부 확산 모델을 사용하여 노이즈가 섞인 초기화로부터 반복적으로 복원을 개선한다.
• 확산 모델의 노이즈 제거 예측과 JPEG로 디코딩된 측정값 기반의 복원 항목을 조합한 하이브리드 업데이트 규칙을 적용한다.
• 재구성 정밀도를 향상시키기 위해 중간 확산 단계(t=300)에서 노이즈가 첨가된 JPEG 이미지를 초기화로 사용한다.
• 결과의 안정성과 정량적 지표 향상을 위해 각 입력에 대해 8개의 독립적 샘플을 평균화한다.

실험 결과

연구 질문

• RQ1 DDRM의 의사역행렬 개념을 JPEG 아티팩트 보정과 같은 비선형 역문제로 일반화할 수 있는가?
• RQ2 사전 훈련된 비조건부 확산 모델이 미세조정 없이도 다양한 품질 계수에서 JPEG 압축 이미지를 복원할 수 있는가?
• RQ3 저품질 JPEG(QF=1–10)에서 최신 기술 수준의 모델과 비교해 이 방법의 성능은 어떠한가?
• RQ4 이와 같은 프레임워크는 이미지 양자화 해제와 같은 다른 비선형 역문제에 적용될 수 있는가?
• RQ5 데이터가 적거나 분포가 다를 경우, 이 방법은 태스크에 특화된 모델보다 더 잘 일반화되는가?

주요 결과

• 최근에 특화된 JPEG 복원을 위해 훈련된 최신 기술 수준의 GAN 기반 방법(QGAC)과 유사한 PSNR 및 SSIM 성능을 달성한다.
• 간단한 JPEG 디코딩보다 뚜렷이 뛰어나며, QGAC가 훈련 데이터 부족으로 인해 성능이 떨어지는 저품질 요소(QF=1–10)에서도 효과적으로 일반화된다.
• 재훈련 없이도 이미지 양자화 해제로도 자연스럽게 일반화되어, JPEG 복원 외의 응용 분야에의 적용 가능성을 입증한다.
• 샘플 평균화(Ours (A))는 재구성 품질을 향상시키며, 첫 번째 샘플보다 평균 출력이 더 나은 지표를 기록한다.
• 비율-왜곡 곡선은 모든 품질 계수에서 높은 성능를 유지함으로써 이 방법의 강건성과 일관성을 보여준다.
• 특수한 태스크에 맞는 미세조정이나 하이퍼파라미터 튜닝 없이도 사전 훈련된 비조건부 확산 모델만으로도 고해상도 이미지 복원이 가능하다.