[논문 리뷰] Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark Estimation

Cheng Ma, Zhenyu Jiang외 3명|arXiv (Cornell University)|2020. 03. 29.

Advanced Image Processing Techniques참고 문헌 42인용 수 15

한 줄 요약

이 논문은 두 개의 순환 브랜치를 사용하여 고해상도 얼굴 이미지와 얼굴 특징점 추정을 번갈아가며 개선하는 딥 반복적 협업 네트워크를 제안한다. 구성 요소별 특징 추출을 안내하기 위해 주의 집중 퓨전 모듈을 활용함으로써, CelebA 및 Helen 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, PSNR는 27.37로 향상되고 SSIM은 0.7962에 도달하였다.

ABSTRACT

Recent works based on deep learning and facial priors have succeeded in super-resolving severely degraded facial images. However, the prior knowledge is not fully exploited in existing methods, since facial priors such as landmark and component maps are always estimated by low-resolution or coarsely super-resolved images, which may be inaccurate and thus affect the recovery performance. In this paper, we propose a deep face super-resolution (FSR) method with iterative collaboration between two recurrent networks which focus on facial image recovery and landmark estimation respectively. In each recurrent step, the recovery branch utilizes the prior knowledge of landmarks to yield higher-quality images which facilitate more accurate landmark estimation in turn. Therefore, the iterative information interaction between two processes boosts the performance of each other progressively. Moreover, a new attentive fusion module is designed to strengthen the guidance of landmark maps, where facial components are generated individually and aggregated attentively for better restoration. Quantitative and qualitative experimental results show the proposed method significantly outperforms state-of-the-art FSR methods in recovering high-quality face images.

연구 동기 및 목표

• 기존 얼굴 초해상도 방법에서 흔히 저해상도 또는 굴곡진 입력에서 유도되는 정확도가 떨어지는 얼굴 사전 지식의 한계를 해결한다.
• 단순히 특징에 특징점 맵을 연결하는 방식으로 인해 발생하는 간접적이고 약한 사전 지식 유도를 해결한다.
• 이미지 복구와 특징점 추정 간 이중적이고 반복적인 개선을 통해 초해상도 얼굴 이미지의 품질을 향상시킨다.
• 얼굴의 구조적 특징을 더 잘 활용하고 고해상도 출력에서의 세부 사항 복원을 향상시키기 위해 구성 요소별 주의 메커니즘을 설계한다.

제안 방법

• 이미지 복구와 얼굴 특징점 추정을 위한 두 개의 브랜치를 가진 순환 아키텍처를 도입하여 반복적 협업을 가능하게 한다.
• 점차적으로 정확도가 향상되는 이미지 입력 기반으로 특징점 위치를 점진적으로 개선하기 위해 특징점 추정을 위해 순환 하우스갈레 네트워크를 사용한다.
• 예측된 특징점을 기반으로 각 얼굴 구성 요소(눈, 코, 입)에 대해 별도의 주의 맵을 생성하는 새로운 주의 집중 퓨전 모듈을 도입한다.
• 구성 요소별 주의 맵을 사용해 그룹 컨볼루션을 적용하여 개별 얼굴 부위에 맞는 특징을 추출하고 집계한다.
• 학습된 주의 가중치를 통해 구성 요소별 특징을 융합하여 회복 브랜치에서 고정밀도 이미지 재구성에 유도한다.
• 각 반복 단계에서 이전 브랜치의 출력을 다음 단계의 입력으로 사용하는 피드백 루프를 구현하여 점진적인 개선을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이미지 복구와 특징점 추정 간 반복적 협업이 초해상도 얼굴 이미지의 품질을 향상시키는가?
• RQ2 정확하고 고해상도의 특징점 추정을 사전 지식으로 사용할 경우, 저해상도 또는 굴곡진 사전 지식을 사용하는 것보다 더 나은 이미지 복원을 이끌 수 있는가?
• RQ3 각 얼굴 구성 요소를 개별적으로 다루는 주의 집중 퓨전 메커니즘이 특징점 맵을 단순히 연결하는 방식보다 초해상도 유도에 더 나은 성능을 내는가?
• RQ4 PSNR, SSIM 및 시각적 정밀도 측면에서 제안된 방법은 최신 기술 수준의 얼굴 초해상도 접근법과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 CelebA 데이터셋에서 PSNR 27.37과 SSIM 0.7962를 달성하여 기준 모델인 DIC-NL(26.31 PSNR)과 DIC-CL(26.93 PSNR)보다 뚜렷이 뛰어나다.
• 시각적 결과는 반복 과정을 거치면서 이미지 품질과 특징점 정확도가 점차 향상됨을 보여주며, 초해상도 출력이 더욱 사진처럼 자연스럽고 기하학적으로 타당성이 높아진다.
• 제거 실험 결과, 특징점 유도를 제거하면 성능이 심각하게 악화되며, 특징점 맵을 단순 연결하는 방식(DIC-CL)은 부분적인 향상만을 제공함으로써 제안된 주의 집중 퓨전의 우수성을 입증한다.
• 주의 집중 퓨전 모듈은 구성 요소 전용 특징 추출을 가능하게 하며, 주의 맵을 선택적으로 적용했을 때 눈, 코, 입과 같은 개별 얼굴 부위가 고정밀도로 복원되는 것으로 시각화 결과에서 확인된다.
• 표 3과 그림 5에 따르면, 세 번의 반복이 품질과 계산 비용 사이의 균형을 잘 맞추는 좋은 선택임을 확인했으며, 다수의 반복에 걸쳐 일관된 성능 향상이 이루어진다.
• 이 방법은 CelebA 및 Helen이라는 두 개의 벤치마크 데이터셋에서 뛰어난 일반화 능력을 보이며, 다양한 얼굴 이미지에 대해 강건하고 효과적인 성능을 입증한다.