[논문 리뷰] Blind Face Restoration via Deep Multi-scale Component Dictionaries

Xiaoming Li, Chaofeng Chen외 4명|arXiv (Cornell University)|2020. 08. 02.

Advanced Image Processing Techniques참고 문헌 47인용 수 14

한 줄 요약

이 논문은 고품질 얼굴 이미지에서 K-means를 통해 학습된 다중 스케일 구성 요소 사전을 활용하여 신원 일치 참조가 필요 없이 블라인드 얼굴 복원을 수행하는 DFDNet을 제안한다. 구성 요소별 적응형 인스턴스 정규화(CAdaIN)와 신뢰도 점수 기반 융합 기법을 통해 모델은 고주파 세부 정보를 계층적이고 군집에서부터의 점진적인 방식으로 열악한 입력에 전달하며, 신원 특화 참조 없이도 실제 저품질 이미지에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Recent reference-based face restoration methods have received considerable attention due to their great capability in recovering high-frequency details on real low-quality images. However, most of these methods require a high-quality reference image of the same identity, making them only applicable in limited scenes. To address this issue, this paper suggests a deep face dictionary network (termed as DFDNet) to guide the restoration process of degraded observations. To begin with, we use K-means to generate deep dictionaries for perceptually significant face components (\ie, left/right eyes, nose and mouth) from high-quality images. Next, with the degraded input, we match and select the most similar component features from their corresponding dictionaries and transfer the high-quality details to the input via the proposed dictionary feature transfer (DFT) block. In particular, component AdaIN is leveraged to eliminate the style diversity between the input and dictionary features (\eg, illumination), and a confidence score is proposed to adaptively fuse the dictionary feature to the input. Finally, multi-scale dictionaries are adopted in a progressive manner to enable the coarse-to-fine restoration. Experiments show that our proposed method can achieve plausible performance in both quantitative and qualitative evaluation, and more importantly, can generate realistic and promising results on real degraded images without requiring an identity-belonging reference. The source code and models are available at \url{https://github.com/csxmli2016/DFDNet}.

연구 동기 및 목표

• 신원 일치 고품질 참조 이미지가 필요한 기존 참조 기반 얼굴 복원 방법의 한계를 해결하기 위해.
• 실제 응용 환경에서 신원 소속 참조가 확보되지 않는 경우에도 적용 가능한 유연하고 일반화 가능한 얼굴 복원 프레임워크를 개발하기 위해.
• 학습된 깊이 있는 사전을 통해 시각적으로 중요한 얼굴 구성 요소(눈, 코, 입)를 참조 후보로 활용하여 복원 품질을 향상시키기 위해.
• 구성 요소별 정규화와 신뢰도 기반 융합을 통해 열악한 입력과 사전 특징 간의 분포 이탈을 줄이기 위해.
• 다중 스케일 사전 통합을 점진적으로 적용하여 군집에서부터의 세부 정보 복원을 가능하게 하기 위해.

제안 방법

• 고품질 얼굴 이미지의 다중 스케일 특징에 대해 K-means 클러스터링을 적용하여 왼쪽 눈, 오른쪽 눈, 코, 입 구성 요소를 위한 깊이 사전을 구축한다.
• RoIAlign를 사용하여 얼굴 랜드마크에서 구성 요소별 특징을 추출함으로써 사전 학습 시 공간 정렬을 보장한다.
• 구성 요소별 AdaIN(CAdaIN)은 입력 특징과 사전 특징 간의 스타일 불일치(예: 조명, 피부 톤)를 줄이기 위해 사전 특징을 정규화한다.
• 사전 특징 전달(DFT) 블록은 내적 유사도를 통해 가장 유사한 사전 클러스터를 매칭하고, 학습된 신뢰도 점수를 사용해 입력 특징과 융합한다.
• 다중 스케일 사전을 여러 디코더 블록에 점진적으로 적용하여 고주파 세부 정보의 군집에서부터의 세부 복원을 가능하게 한다.
• 최종 모델은 SFT 기반 정밀 조정과 다양한 스케일에서 DFT 블록을 포함한 U-Net 유사 아키텍처를 사용하여 현실감과 세부 정보 복원을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 신원에서 학습된 깊이 있는 구성 요소 사전가 신원 특화 고품질 참조가 필요 없이 얼굴 복원에서 이를 대체할 수 있는가?
• RQ2 구성 요소별 적응형 인스턴스 정규화(CAdaIN)는 열악한 입력과 사전 특징 간의 분포 이탈을 얼마나 효과적으로 보정하는가?
• RQ3 점진적인 다중 스케일 사전 통합은 복원 품질과 세부 정보 복원에 어떤 영향을 미치는가?
• RQ4 신뢰도 기반 특징 융합은 블라인드 얼굴 복원에서 강건성과 현실감을 어떻게 향상시키는가?
• RQ5 제안된 방법은 신원 일치 참조 없이도 실제 저품질 이미지에 일반화 가능한가?

주요 결과

• DFDNet은 VggFace2 데이터셋에서 ×4 초해상도 복원 시 PSNR 27.54, SSIM 0.923를 기록하며 기준 참조 기반 방법을 초월한다.
• 256개의 사전 클러스터를 사용한 모델(Ours(#256))는 512개 클러스터보다 낮은 추론 비용으로 거의 최적의 성능을 달성하여 배포에 효율적이다.
• CAdaIN을 제거하면 PSNR가 2.0 dB 이상 저하되며, 이는 입력과 사전 특징 간 스타일 변동을 처리하는 데 CAdaIN이 핵심적인 역할을 한다는 것을 입증한다.
• 신뢰도 점수 기반 융합 메커니즘은 아티팩트를 줄이고 신원 일관성을 유지하여 특히 저도수 열악한 경우에 유의미한 향상을 이룬다.
• 시각적 비교 결과, Ours(#256)는 Ours(#16) 및 Ours(#64)보다 더 선명하고 현실적인 결과를 내며 더 풍부한 얼굴 세부 정보와 더 적은 왜곡을 보였다.
• 모델는 실제 열악한 이미지에 대해 잘 일반화되어 있으며, 어떤 신원 소속 참조 없이도 타당하고 현실적인 출력을 생성한다.