[논문 리뷰] Deep Semantic Face Deblurring

Ziyi Shen, Wei‐Sheng Lai외 3명|arXiv (Cornell University)|2018. 03. 09.

Advanced Image Processing Techniques참고 문헌 46인용 수 11

한 줄 요약

이 논문은 고해상도 얼굴 세부 정보를 복원하기 위해 의미적 사전 지식과 국소적 구조 제약 조건을 활용하는 딥 컨volution 신경망을 제안한다. 종단 간 프레임워크 내에서 전역적 얼굴 파싱 레이블과 다중 척도 손실을 통합함으로써, 이 방법은 품질, 얼굴 인식 정확도, 추론 속도 측면에서 기존 방법을 능가하는 최신 기술 수준의 성능을 달성한다. 특히 합성 및 실제 세계의 흐린 얼굴 이미지에서 모두 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we present an effective and efficient face deblurring algorithm by exploiting semantic cues via deep convolutional neural networks (CNNs). As face images are highly structured and share several key semantic components (e.g., eyes and mouths), the semantic information of a face provides a strong prior for restoration. As such, we propose to incorporate global semantic priors as input and impose local structure losses to regularize the output within a multi-scale deep CNN. We train the network with perceptual and adversarial losses to generate photo-realistic results and develop an incremental training strategy to handle random blur kernels in the wild. Quantitative and qualitative evaluations demonstrate that the proposed face deblurring algorithm restores sharp images with more facial details and performs favorably against state-of-the-art methods in terms of restoration quality, face recognition and execution speed.

연구 동기 및 목표

• 모델이 알려지지 않은 블러 커널과 전통적 사전 지식에 부족한 무늬를 가진 얼굴 이미지에서 단일 이미지 얼굴 디블러링 문제를 해결하는 것.
• 눈, 입, 얼굴 윤곽 등의 의미적 단서를 통해 얼굴의 높은 구조적 특성을 활용하여 복원 품질을 향상시키는 것.
• 자원 제약이 있는 플랫폼(예: 모바일 및 클라우드 디바이스)에서 실시간 추론을 가능하게 하기 위해 계산 비용을 줄이는 것.
• 복원된 출력에서 신원을 유지하는 특징을 보존함으로써 얼굴 인식 성능을 향상시키는 것.
• 실제 환경에서 관찰되는 다양한 알 수 없는 블러 커널에 잘 일반화되는 학습 전략을 개발하는 것.

제안 방법

• 이 방법은 흐린 얼굴 이미지와 예측된 의미적 세그멘테이션 맵을 입력으로 받아, 전역적 의미 사전 지식을 활용해 디블러링을 이끄는 다중 척도 딥 CNN을 사용한다.
• 눈, 코, 입과 같은 주요 얼굴 구성 요소에서 국소적 구조 손실을 적용하여 학습 중에 세밀한 세부 정보를 유지한다.
• 실제 이미지의 특징과 분포를 일치시킴으로써 사진처럼 현실적인 출력을 생성하기 위해 인지적 손실과 적대적 손실을 사용한다.
• 증가 학습 전략을 도입하여, 네트워크를 먼저 작은 블러 커널에서 학습하고 점진적으로 더 큰 커널로 미세 조정함으로써 일반화 능력을 향상시킨다.
• 의미적 레이블을 입력으로 사용하기 위해 사전 학습된 얼굴 파싱 네트워크를 통해 얼굴 파싱을 수행한다.
• 블러 커널 추정 또는 후처리 없이 종단 간으로 전체 네트워크를 학습함으로써 빠른 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 의미적 사전 지식(예: 얼굴 파싱에서 유도된 것)을 활용할 경우, 픽셀 단위의 손실만 사용하는 기준 모델 대비 복원된 얼굴 이미지의 품질과 정밀도가 향상되는가?
• RQ2 얼굴 구성 요소에 국소적 구조 제약 조건을 통합할 경우, 세밀한 얼굴 세부 정보 복원에 어떤 영향을 미치는가?
• RQ3 증가 학습 전략은 실제 데이터에서 알 수 없는 다양성 있는 블러 커널으로 인한 분포 이동 문제를 효과적으로 다룰 수 있는가?
• RQ4 얼굴 인식 정확도와 추론 속도 측면에서 제안된 방법이 최신 기술 수준의 디블러링 모델을 얼마나 뛰어넘는가?
• RQ5 인지적 손실과 적대적 손실을 사용할 경우, 더 자연스럽고 현실적인 복원된 얼굴 출력을 얻을 수 있는가?

주요 결과

• 실제 흐린 이미지에서 제안된 방법은 99%의 얼굴 검출 성공률을 달성하여, Nah et al.(90%) 및 Pan et al.(82%)와 같은 기존 방법보다 뚜렷하게 뛰어난 성능을 보였다.
• CelebA 데이터셋에서의 상위 1 얼굴 인식 정확도 54%는 비교된 모든 방법 중에서 가장 높은 성능을 기록하여 우수한 신원 유지 능력을 입증했다.
• GPU에서 128×128 이미지당 추론 시간이 0.05초로, 0.09초가 소요되는 다음으로 빠른 방법보다도 더 빠르며, 평가된 모든 방법보다 빠르게 작동했다.
• 의미 사전 지식과 국소적 구조 손실을 통합함으로써, 의미 정보가 없는 기준 모델 대비 FaceNet 임bedding에서 신원 거리가 20% 감소하여 더 나은 신원 일致성 유지가 가능했다.
• Lai et al.의 실제 흐린 데이터셋에서의 시각적 비교 결과, 제안된 방법은 최신 기술 수준의 접근 방식보다 더 선명한 얼굴 세부 정보와 더 적은 아티팩트를 생성했다.
• 증가 학습 전략은 수렴과 일반화 능력을 향상시켜, 전체 데이터 증강 없이도 다양한 크기의 블러 커널을 효과적으로 처리할 수 있도록 했다.