[논문 리뷰] Image Restoration Through Generalized Ornstein-Uhlenbeck Bridge

Conghan Yue, Zhengwei Peng외 4명|arXiv (Cornell University)|2023. 12. 16.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 일반화된 옴스타인-울렌벡 브리지(GOUB)를 제안하며, 일반화된 옴스타인-울렌벡 과정의 평균 회귀 성질과 두브의 h-변환을 활용하여 저품질에서 고품질 이미지로의 포인트 투 포인트 매핑을 효율적이고 종단간(end-to-end)으로 학습할 수 있는 확산 기반 이미지 복원 모델이다. 이 방법은 최소한의 계산 비용으로 최적의 확산을 가능하게 하여, 비오염, 초해상도, 메시지 복원 등의 이미지 복원 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Diffusion models exhibit powerful generative capabilities enabling noise mapping to data via reverse stochastic differential equations. However, in image restoration, the focus is on the mapping relationship from low-quality to high-quality images. Regarding this issue, we introduce the Generalized Ornstein-Uhlenbeck Bridge (GOUB) model. By leveraging the natural mean-reverting property of the generalized OU process and further eliminating the variance of its steady-state distribution through the Doob's h-transform, we achieve diffusion mappings from point to point enabling the recovery of high-quality images from low-quality ones. Moreover, we unravel the fundamental mathematical essence shared by various bridge models, all of which are special instances of GOUB and empirically demonstrate the optimality of our proposed models. Additionally, we present the corresponding Mean-ODE model adept at capturing both pixel-level details and structural perceptions. Experimental outcomes showcase the state-of-the-art performance achieved by both models across diverse tasks, including inpainting, deraining, and super-resolution. Code is available at \url{https://github.com/Hammour-steak/GOUB}.

연구 동기 및 목표

• 저품질에서 고품질 이미지로의 효율적이고 작업에 관계없는 이미지 복원 매핑을 학습하는 데 도전한다.
• 기존 브리지 모델이 반복적 근사나 최적화되지 않은 확산 경로에 의존하는 한계를 극복한다.
• 기존 다양한 브리지 모델을 하나의 수학적 프레임워크 안에서 통합하기 위해 GOUB 모델 내에서 그들의 특수 케이스를 드러낸다.
• 복원된 이미지의 픽셀 수준 및 구조적 정밀도를 향상시키는 파arameterization 메커니즘을 개발한다.
• 고정된 끝점이 있는 확산 과정에서 최대우도추정을 통해 종단간 학습을 가능하게 한다.

제안 방법

• GOUB 모델은 전방 확산 과정으로 일반화된 옴스타인-울렌벡(GOU) 과정을 사용하며, 고품질에서 저품질 이미지로의 자연스러운 평균 회귀 성질을 띤다.
• GOU 과정의 안정 상태 분산을 조정하기 위해 두브의 h-변환을 적용하여 고품질과 저품질 이미지 분포 사이의 정밀한 브리지 구축을 가능하게 한다.
• 역과정은 최대우도추정을 통해 유도되며, 작업 전용 사전 지식이나 열화 매트릭스 없이 종단간 학습이 가능하다.
• GOUB의 파arameterization에 기반한 새로운 평균-ODE 모델이 도입되어 픽셀 수준의 세부 사항과 구조적 일관성을 더 잘 포착한다.
• 모델의 SDE 수식은 포크너-플랭크 방정식에서 유도되며, 비드 및 산산 분산 계수는 스코어 매칭을 통해 최적화된다.
• 이 프레임워크는 기존 브리지 모델을 특수 케이스로 통합하여 수학적 최적성과 계산 효율성을 입증한다.

Figure 1: The overview of the proposed image restoration GOUB. It can be observed that the GOU process is capable of transferring High Quality (HQ) into noisy Low Quality (LQ). Additionally, through the application of h -transform, minor adjustments can be made to the entire process, enabling the GO

실험 결과

연구 질문

• RQ1 확산 기반 모델이 작업 전용 사전 지식이나 반복적 보정 없이 최적의 종단간 이미지 복원을 달성할 수 있는가?
• RQ2 일반화된 옴스타인-울렌벡 과정의 평균 회귀 성질이 효율적인 포인트 투 포인트 이미지 매핑을 어떻게 가능하게 하는가?
• RQ3 기존의 브리지 모델들과 제안된 GOUB 프레임워크 사이의 수학적 관계는 무엇인가?
• RQ4 재파라미터라이제이션된 ODE 모델(Mean-ODE)이 표준 확산 모델보다 세밀한 이미지 세부 사항과 구조 인식을 더 잘 포착할 수 있는가?
• RQ5 GOUB 모델은 다양한 이미지 복원 벤치마크에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• GOUB 모델은 비오염에 대한 Rain100H, 초해상도에 대한 DIV2K, 메시지 복원에 대한 CelebA-HQ를 포함한 여러 이미지 복원 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• Mean-ODE 변형은 표준 확산 기반 베이스라인 대비 픽셀 수준의 세부 사항과 구조 일관성을 더 잘 유지하는 데 뛰어난 능력을 보였다.
• 모든 기존 브리지 모델이 GOUB 프레임워크의 특수 케이스로 밝혀져, 그 수학적 일반성과 통합 능력을 확인한다.
• 반복적 샘플링이나 분류기 가이던스 없이도 최대우도추정을 통한 효율적 학습이 가능하다.
• 실증 결과는 제안된 확산 경로의 최적성을 확인하였으며, 이는 이전 방법보다 낮은 비용과 뛰어난 성능을 제공한다.
• 작업 전용 열화 모델링 없이도 다양한 작업으로 일반화되며, 실용성과 확장성 향상에 기여한다.

Figure 2: Qualitative comparison of the visual results of different inpainting methods on the CelebA-HQ datasets.