[논문 리뷰] DriftRec: Adapting diffusion models to blind JPEG restoration

Simon Welker, Henry N. Chapman외 1명|arXiv (Cornell University)|2022. 11. 12.

Advanced Neuroimaging Techniques and Applications참고 문헌 51인용 수 5

한 줄 요약

DriftRec는 전방 확률 미분 방정식(SDE)을 수정하여 블라인드 JPEG 이미지 복원을 위한 점수 기반 확산 모델의 새로운 변형을 제안한다. 이는 손상된 이미지의 분포와 더 잘 일치하도록 설계되었으며, 기존 방법과 달리 JPEG 품질 계수 또는 손상 과정에 대한 사전 지식이 필요로 하지 않으며, QF ≤ 30인 낮은 품질 계수에서도 뛰어난 시각적 품질과 정확한 분포 모델링을 달성한다.

ABSTRACT

In this work, we utilize the high-fidelity generation abilities of diffusion models to solve blind JPEG restoration at high compression levels. We propose an elegant modification of the forward stochastic differential equation of diffusion models to adapt them to this restoration task and name our method DriftRec. Comparing DriftRec against an $L_2$ regression baseline with the same network architecture and state-of-the-art techniques for JPEG restoration, we show that our approach can escape the tendency of other methods to generate blurry images, and recovers the distribution of clean images significantly more faithfully. For this, only a dataset of clean/corrupted image pairs and no knowledge about the corruption operation is required, enabling wider applicability to other restoration tasks. In contrast to other conditional and unconditional diffusion models, we utilize the idea that the distributions of clean and corrupted images are much closer to each other than each is to the usual Gaussian prior of the reverse process in diffusion models. Our approach therefore requires only low levels of added noise and needs comparatively few sampling steps even without further optimizations. We show that DriftRec naturally generalizes to realistic and difficult scenarios such as unaligned double JPEG compression and blind restoration of JPEGs found online, without having encountered such examples during training.

연구 동기 및 목표

• 낮은 품질 계수(QF ≤ 30)에서 전통적 방법이 흐릿한 출력을 생성하는 문제를 해결하기 위해.
• JPEG 손상 과정에 대한 사전 지식(예: 품질 계수 또는 양자화 행렬)이 없는 확산 모델을 개발하기 위해.
• 이상화된 이중 JPEG 압축이나 처리 역사를 알 수 없는 온라인 JPEG과 같은 복잡한 실제 시나리오로의 일반화를 가능하게 하기 위해.
• 기존의 확산 기반 및 비확산 기반 기준선 대비 시각적 품질 향상과 분포 충실도 향상을 위해.
• 수정된 SDE 형식이 확산 프레임워크 내에서 비정규성 및 비선형적인 JPEG 압축 손상을 효과적으로 모델링할 수 있음을 보여주기 위해.

제안 방법

• 청결한 이미지와 JPEG 압축 이미지 간의 분포 유사도를 반영하기 위해, 기존의 가우시안 사전을 가정하는 대신 전방 SDE의 드리프트 항을 수정함으로써 확산 모델의 전방 SDE를 적응시킴.
• 학습 및 추론 과정에서 JPEG 인코딩 과정에 대한 지식이 필요 없이, (청결, JPEG 압축) 이미지 쌍으로 구성된 데이터셋을 사용하여 지도 학습을 수행함.
• 청결한 이미지로의 역방향 과정을 학습하기 위해 점수 기반 생성 모델(SGM)과 노이즈 제거 점수 매칭(ДSM) 목적함수를 활용함.
• 100개의 샘플링 단계를 사용한 유진-마루야마 샘플러를 적용하여 이미지 분포의 반복적 개선을 가능하게 함.
• 재구성된 이미지의 각 RGB 채널 평균을 입력 JPEG 이미지와 일치시키기 위해 후처리 단계에서 색상 보정을 수행함으로써 색상 이동을 감소시킴.
• 연속적인 SDE 형식을 활용하여 비표준 SDE 드리프트 항에도 불구하고 다양한 샘플링 전략의 유연성과 향후 빠른 샘플링 기법과의 통합 가능성을 확보함.

실험 결과

연구 질문

• RQ1 JPEG 품질 계수 또는 양자화 행렬에 대한 사전 지식이 없이도 확산 모델이 블라인드 JPEG 복원에 효과적으로 적용될 수 있는가?
• RQ2 제안된 SDE 수정이 표준 확산 모델 및 L2 회귀 기준선 대비 분포 모델링 및 시각적 품질 향상에 기여하는 정도는 어떠한가?
• RQ3 DriftRec는 이중 압축이나 처리 역사를 알 수 없는 온라인 이미지와 같은 실제 세계의 복잡한 JPEG 아티팩트에 얼마나 잘 일반화되는가?
• RQ4 DriftRec에서 여러 번의 샘플링 실행 또는 평균화를 사용할 경우 시각적 품질과 왜곡 사이의 상호 교환 관계는 어떻게 되는가?
• RQ5 DriftRec의 런타임 효율성은 비확산 기반 기준선과 비교해 어떻게 되며, 최근의 샘플링 가속화 기법이 이 격차를 메울 수 있는가?

주요 결과

• DriftRec는 L2 회귀 기준선 및 최신 기법들보다 뚜렷이 높은 시각적 품질을 달성하며, 다른 접근법에서 흔히 볼 수 있는 흐릿함을 피함.
• 낮은 품질 계수(QF ≤ 30)에서도 FID, KID, LPIPS 점수에서 뛰어난 성능을 보이며 청결한 이미지의 분포를 충실하게 복원함.
• 이상화된 이중 JPEG 압축 및 처리 이력이 알려지지 않은 온라인 JPEG 이미지 등 실제 세계의 복잡한 아티팩트에 대해 효과적으로 일반화되며, 실제 블라인드 복원 시나리오에서의 강건성을 입증함.
• 비반복적 방법들(예: QGAC, FBCNN) 대비 20~100배 더 많은 DNN 평가를 요구하지만, 향후 빠른 샘플링 기법의 도입으로 성능 향상이 기대됨.
• DriftRec에서 여러 샘플을 평균화하는 방식은 시각적 품질과 왜곡 사이의 제어 가능한 상호 교환 관계를 제공하여 재구성 목표에 유연성을 부여함.
• 비교된 방법들 중에서 모델 파라미터 수가 가장 적고, L2 회귀 기준선 대비 소규모 아키텍처 변경만으로도 높은 모델 설계 효율성을 확보함.