[논문 리뷰] Deep Face Restoration: A Survey

Tao Wang, Kaihao Zhang외 4명|ArXiv.org|2022. 11. 05.

Advanced Image Processing Techniques인용 수 16

한 줄 요약

이 종합 검토는 노이즈 제거, 초해상도 복원, 블러 제거, 아티팩트 제거, 블라인드 복원을 포함한 딥러닝 기반 얼굴 복원 기법을 포괄적으로 분석한다. 네트워크 아키텍처, 손실 함수, 얼굴 사전 지식, 기준 데이터셋을 분석하고 최신 기법들을 평가하며, 재현 가능성과 향후 연구를 지원하기 위해 오픈소스 레포지터리를 제공한다.

ABSTRACT

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistical priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to systematically study the deep learning based face restoration methods. Thus, in this paper, we provide a comprehensive survey of recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristics of face images. Second, we discuss the challenges of face restoration. With regard to these challenges, we present a comprehensive review of recent FR methods, including prior-based methods and deep-learning methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss the future directions including network designs, metrics, benchmark datasets, applications, etc. We also provide an open source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

연구 동기 및 목표

• 노이즈, 블러, 저해상도, 압축 아티팩트 등 다양한 오염 유형을 고려하여 딥러닝 기반 얼굴 복원 기법을 체계적으로 검토하는 것.
• 최신 얼굴 복원 모델에서 네트워크 아키텍처, 손실 함수, 얼굴 사전 지식, 학습 전략 등의 핵심 구성 요소를 분석하는 것.
• 합성 및 실세계 데이터셋에서 대표적인 기법들을 평가하여 성능과 일반화 능력을 평가하는 것.
• 네트워크 설계, 평가 지표, 기준 데이터셋, 실세계 응용 분야에서의 열린 과제를 규명하고 향후 연구 방향을 제안하는 것.
• 재현 가능성과 커뮤니티 발전을 위해 공개 가능한, 정제된 얼굴 복원 기법 레포지터리를 제공하는 것.

제안 방법

• 이 검토는 오염 유형에 기반해 얼굴 복원을 다섯 가지 주요 작업으로 분류한다: 노이즈 제거, 블러 제거, 초해상도 복원, 아티팩트 제거, 블라인드 복원.
• 기존 지식 기반 기법(기하학적, 기준 기반, 생성 기반)과 비지식 기반 기법을 검토하며, 얼굴의 구조와 질감을 모델링하는 데서의 강점과 한계를 분석한다.
• U-Net, 잔차 네트워크, 트랜스포머 기반 아키텍처와 같은 네트워크 아키텍처를 평가하며, 기능 학습과 복원 정확도에서의 역할을 강조한다.
• 시각적 품질과 픽셀 수준 정확도를 균형 잡는 데 기여하는 인지적 손실, 적대적 손실, 병합된 손실 함수를 검토한다.
• FFHQ와 같은 표준 데이터셋과 실세계 이미지를 사용해 기법들을 기준화하며, 합성 데이터와 실세계 일반화 간의 성능 격차를 부각한다.
• 설문된 기법들의 캐탈로그 및 구현 지원을 위해 https://github.com/TaoWangzj/Awesome-Face-Restoration 에 오픈소스 레포지터리를 유지한다.

실험 결과

연구 질문

• RQ1 다양한 딥러닝 아키텍처와 손실 함수는 복원된 얼굴 이미지의 품질과 현실성에 어떤 영향을 미치는가?
• RQ2 합성 데이터로 훈련된 얼굴 복원 모델이 다양한 실세계 오염 패tern으로 일반화하는 데 있어 핵심 과제는 무엇인가?
• RQ3 얼굴 사전 지식—기하학적, 기준 기반, 생성 기반—은 복원 성능과 구조 일관성에 어떻게 기여하는가?
• RQ4 현재의 기준 데이터셋이 얼굴 복원 모델의 공정하고 신뢰할 수 있는 평가를 가능하게 하는 데 있어 어떤 한계를 지니는가?
• RQ5 특히 영상 복원, 실세계 적용, 후속 작업 통합을 고려할 때, 얼굴 복원을 발전시키기 위해 가장 유망한 향후 방향은 무엇인가?

주요 결과

• 딥러닝 기반 얼굴 복원 기법은 전통적인 통계적 및 모델 기반 접근법에 비해 시각적 품질과 구조 일관성에서 뚜렷한 우수성을 보인다.
• 특히 기하학적 사전 지식과 기준 기반 사전 지식을 사용할 경우, 복원된 이미지의 얼굴 구조가 더 현실적이며 일관성 있게 향상된다.
• 현재의 기준 데이터셋은 일반적으로 크기가 작고 합성 데이터로 구성되어 있어, 복잡하고 다양한 오염 패턴을 가진 실세계 시나리오로의 일반화 능력에 제한을 받는다.
• 합성 데이터로 훈련된 모델과 실세계 얼굴 이미지에서 테스트된 모델 간에 뚜렷한 성능 격차가 존재하며, 이는 도메인 시프트 문제를 시사한다.
• 영상 복원은 수요가 증가하고 있음에도 불구하고 여전히 탐색이 부족한 분야이며, 시공간 일관성을 활용하는 데 있어 핵심적인 미래 방향이다.
• 얼굴 인식과 같은 후속 작업과의 통합은 성능 향상을 보이며, 종단 간 프레임워크 구현 가능성을 시사한다.