[논문 리뷰] PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance

Peiqing Yang, Shangchen Zhou외 2명|arXiv (Cornell University)|2023. 09. 19.

Face recognition and analysis인용 수 9

한 줄 요약

PGDiff는 고품질 이미지 속성으로 확산 모델의 노이즈 제거를 부분적으로 가이드하여, 과정 모델링 없이도 다양한 얼굴 복원을 가능하게 한다.

ABSTRACT

Exploiting pre-trained diffusion models for restoration has recently become a favored alternative to the traditional task-specific training approach. Previous works have achieved noteworthy success by limiting the solution space using explicit degradation models. However, these methods often fall short when faced with complex degradations as they generally cannot be precisely modeled. In this paper, we propose PGDiff by introducing partial guidance, a fresh perspective that is more adaptable to real-world degradations compared to existing works. Rather than specifically defining the degradation process, our approach models the desired properties, such as image structure and color statistics of high-quality images, and applies this guidance during the reverse diffusion process. These properties are readily available and make no assumptions about the degradation process. When combined with a diffusion prior, this partial guidance can deliver appealing results across a range of restoration tasks. Additionally, PGDiff can be extended to handle composite tasks by consolidating multiple high-quality image properties, achieved by integrating the guidance from respective tasks. Experimental results demonstrate that our method not only outperforms existing diffusion-prior-based approaches but also competes favorably with task-specific models.

연구 동기 및 목표

• 확정된 degradation 프로세스를 가정하지 않고 확산 모델을 이용한 복원을 촉진한다.
• 원하는 HQ 이미지 속성을 모델링하고, 그러한 속성을 사용하여 확산 노이즈 제거를 가이드한다.
• 여러 HQ 속성으로 가이드를 합산하여 복합 작업을 가능하게 한다.
• 확산-사전 기반 방법보다 우수하고 작업별 모델과의 경쟁력을 보여준다.

제안 방법

• 분류기 가이드를 사용하여 역전파된 그래디언스를 통해 HQ 속성으로 확산 노이즈 제거를 제약한다.
• 가이드 가중치를 동적으로 설정하고 노이즈 제거 단계당 여러 그래디언트 단계를 도입하여 가이드 효과를 향상시킨다.
• 각 HQ 속성을 분류기로 표현하고 목표 가이드 손실을 출력하여 가이드로 사용한다.
• 여러 속성의 손실을 합산하여 복합 degradations를 처리하고 복합 작업을 허용한다.
• 추가적인 품질 향상을 위해 지각적 손실(perceptual) 및 적대적 손실(adversarial)을 선택적으로 도입한다.

Figure 1: Overview of Our PGDiff Framework for Versatile Face Restoration . Here, we take the colorization task as an example to illustrate our inference pipeline. One may refer to Table 1 for the corresponding details ( e.g. , property, classifier, and target) of other tasks. We show that our metho

실험 결과

연구 질문

• RQ1 고품질 이미지 속성이 명시적인 degradation 모델링 없이 확산 기반 복원을 가이드할 수 있는가?
• RQ2 부분 가이드는 동질적 및 복합 얼굴 복원 작업에서 어떻게 성능을 발휘하는가?
• RQ3 동적 가이드 및 다중 그래디언트 단계가 출력 품질과 제어 가능성을 개선할 수 있는가?
• RQ4 Old photo 복원과 같은 복합 degradations를 다루기 위해 다중 HQ 속성을 어떻게 합성할 수 있는가?
• RQ5 PGDiff에 지각적( perceptual ) 또는 적대적(guidance) 가이드를 추가하는 것이 미치는 영향은 무엇인가?

주요 결과

• PGDiff는 도전적인 복원 작업에서 확산 사전 기반 접근보다 우수한 성능을 보인다.
• PGDiff는 다양한 작업에서 작업별 모델과의 경쟁력 있는 성능을 보여준다.
• 정규화된 가중치를 가진 동적 가이드는 목표 속성에 대한 준수성을 향상시킨다.
• 노이즈 제거 단계당 다중 그래디언트 단계는 가이드를 강화하고 인공적 흔적을 줄인다.
• 복합 가이드는 여러 HQ 속성을 결합하여 복합 degradations를 처리할 수 있게 한다.
• 지각적( perceptual ) 및 적대적 손실의 도입은 복원 품질을 추가로 향상시킬 수 있다.

Figure 2: Comparison on Blind Face Restoration. Input faces are corrupted by real-world degradations. Our PGDiff produces high-quality faces with faithful details. ( Zoom in for best view. )