[논문 리뷰] DifFace: Blind Face Restoration with Diffused Error Contraction

Zongsheng Yue, Chen Change Loy|arXiv (Cornell University)|2022. 12. 13.

Facial Nerve Paralysis Treatment and Research인용 수 14

한 줄 요약

DifFace는 복잡한 손실 함수 없이 사전 훈련된 확산 모델을 활용하여 저품질 입력에서 고품질 얼굴 이미지를 추론하는 새로운 블라인드 얼굴 복원 방법을 제안한다. 저품질 이미지에서 중간 확산 상태로의 전이 분포를 모델링하고, 이후 확산 모델의 역과정을 통해 이를 정밀하게 보정함으로써, 복잡한 새로운 열화 조건에서도 강력한 성능을 발휘한다. 이는 오직 L1 손실만으로도 훈련되며, 최신 기술을 초월하는 성능을 입증하였다.

ABSTRACT

While deep learning-based methods for blind face restoration have achieved unprecedented success, they still suffer from two major limitations. First, most of them deteriorate when facing complex degradations out of their training data. Second, these methods require multiple constraints, e.g., fidelity, perceptual, and adversarial losses, which require laborious hyper-parameter tuning to stabilize and balance their influences. In this work, we propose a novel method named DifFace that is capable of coping with unseen and complex degradations more gracefully without complicated loss designs. The key of our method is to establish a posterior distribution from the observed low-quality (LQ) image to its high-quality (HQ) counterpart. In particular, we design a transition distribution from the LQ image to the intermediate state of a pre-trained diffusion model and then gradually transmit from this intermediate state to the HQ target by recursively applying a pre-trained diffusion model. The transition distribution only relies on a restoration backbone that is trained with $L_2$ loss on some synthetic data, which favorably avoids the cumbersome training process in existing methods. Moreover, the transition distribution can contract the error of the restoration backbone and thus makes our method more robust to unknown degradations. Comprehensive experiments show that DifFace is superior to current state-of-the-art methods, especially in cases with severe degradations. Code and model are available at https://github.com/zsyOAOA/DifFace.

연구 동기 및 목표

• 기존의 블라인드 얼굴 복원 방법이 열화 모델이 일치하지 않을 경우 복잡한 열화 조건에서 성능을 저하시키는 데 기인한 한계를 해결하기 위해.
• 광범위한 초모수 조정이 필요한 복잡한 수작업 손실 함수(예: 적대적, 인지적 손실)를 제거하기 위해.
• 재학습 없이도 사전 훈련된 확산 모델의 사전 지식을 활용하는 훈련 효율성이 높은 방법을 개발하기 위해.
• 확산된 중간 표현을 통해 잔차 오차를 압축함으로써 심각한 열화 조건에 대한 강건성을 향상시키기 위해.
• 통합적이고 원리에 기반한 후행 분포 추론 프레임워크를 통해 블라인드 얼굴 복원 및 얼굴 인painting 양쪽에서 뛰어난 성능을 달성하기 위해.

제안 방법

• DifFace는 저품질 입력 y₀에 대해 고품질 얼굴 이미지 x₀의 후행 분포 p(x₀|y₀)를 모델링하기 위해, 중간 확산 상태 xₙ를 포함한 전이 분포 p(xₙ|y₀)를 도입한다.
• 전이 분포는 합성 데이터에서 오직 L1 손실만을 사용해 훈련된 복원 백본을 통해 학습되며, 이는 효율적이고 안정적인 훈련을 가능하게 한다.
• 사전 훈련된 확산 모델의 역방향 마르코프 체인을 활용하여 xₙ에서 x₀를 생성함으로써, 재학습 없이도 풍부한 이미지 사전 지식을 활용한다.
• 1보다 작은 스케일링 인자와 함께 확산 유사 과정을 적용함으로써, 저품질 입력과 고품질 타겟 간 잔차 오차를 수축시킨다.
• 인painting 작업에서 마스크된 영역과 마스크되지 않은 영역 간의 일관성을 향상시키기 위해, 추론 과정에서 초모수 γ를 활용한 최적화 전략을 도입한다.
• DDIM 추론를 활용하여 속도를 향상시켜 20단계 내에서 추론 시간을 단축시키며, 성능 저하 없이 CodeFormer 수준의 추론 속도를 달성한다.

실험 결과

연구 질문

• RQ1 복잡한 손실 함수나 확산 모델 재학습 없이도 확산 기반 방법이 강력한 블라인드 얼굴 복원을 달성할 수 있는가?
• RQ2 전이 분포는 새로운 열화 조건에 대한 강건성을 향상시키고 오차를 수축시키는 데 얼마나 효과적인가?
• RQ3 훈련 중에 볼 수 없었던 실제 세계의 복잡한 열화 조건에도 잘 일반화되는가?
• RQ4 초모수 γ를 활용한 제안된 최적화 전략은 얼굴 인painting에서 생성 결과의 일관성에 어떤 영향을 미치는가?
• RQ5 복원 품질을 희생시키지 않고 추론 속도를 얼마나 향상시킬 수 있는가?

주요 결과

• DifFace는 블라인드 얼굴 복원 및 얼굴 인painting 양 측면에서 최신 기술을 초월하며, 특히 심각한 열화 조건과 큰 마스크 영역에서 뛰어난 성능을 보였다.
• CelebA-Test 데이터셋에서 DifFace는 20개의 DDIM 단계로 0.92초의 경쟁 가능한 추론 속도를 기록했으며, 속도 측면에서 DFDNet과 CodeFormer 사이에 위치하면서 CodeFormer의 성능을 그대로 유지했다.
• GAN 기반 방법이 실패하는 상황에서도 뛰어난 인지적 품질과 구조적 일관성을 유지하여, 복잡한 열화 조건에 대한 뛰어난 강건성을 입증했다.
• 복원 백본 훈련에 단일 L1 손실만을 사용함으로써, 다중 손실 접근 방식에 비해 훈련 파이프라인의 단순화가 뚜렷하게 이루어졌다.
• γ를 사용한 최적화 전략은 특히 γ > 0일 경우 마스크된 영역과 마스크되지 않은 영역 간의 일관성 부족을 효과적으로 감소시켰다.
• 열화 모델이 일치하지 않을 경우에도 강력한 성능 유지를 보이며, 실제 세계 데이터에 대한 일반화 능력을 입증했다.