[논문 리뷰] Progressive Face Super-Resolution via Attention to Facial Landmark

Deokyun Kim, Minseon Kim외 2명|arXiv (Cornell University)|2019. 08. 22.

Advanced Image Processing Techniques참고 문헌 25인용 수 93

한 줄 요약

얼굴 랜드마크 주의(attention)와 축소 FAN을 활용하여 perceptual 및 구조적 충실도를 향상시키는 8배 얼굴 초해상도를 위한 점진적 학습 프레임워크를 소개합니다.

ABSTRACT

Face Super-Resolution (SR) is a subfield of the SR domain that specifically targets the reconstruction of face images. The main challenge of face SR is to restore essential facial features without distortion. We propose a novel face SR method that generates photo-realistic 8x super-resolved face images with fully retained facial details. To that end, we adopt a progressive training method, which allows stable training by splitting the network into successive steps, each producing output with a progressively higher resolution. We also propose a novel facial attention loss and apply it at each step to focus on restoring facial attributes in greater details by multiplying the pixel difference and heatmap values. Lastly, we propose a compressed version of the state-of-the-art face alignment network (FAN) for landmark heatmap extraction. With the proposed FAN, we can extract the heatmaps suitable for face SR and also reduce the overall training time. Experimental results verify that our method outperforms state-of-the-art methods in both qualitative and quantitative measurements, especially in perceptual quality.

연구 동기 및 목표

• 외부 사전 지형에 의존하지 않고 얼굴 속성을 보존하는 고충실도 얼굴 SR을 목표로 한다.
• 단계별로 생성기와 판별기를 확장하는 안정적인 점진적 학습 체계를 개발한다.
• 얼굴 랜드마크 근처의 디테일을 강조하기 위한 얼굴 주의(attention) 손실을 도입한다.
• SR에 효과적인 랜드마크 히트맵을 생성하도록 경량 FAN을 증류한다.
• 방법이 지각적 품질 및 효율성에서 최신 방법을 능가함을 보인다.

제안 방법

• 단계별 융합과 선형 증가하는 알파 가중치를 갖는 2x, 2x, 2x(총 8x)로 업스케일하는 3단계 점진적 SR 네트워크를 사용한다.
• 랜드마크 히트맵 값으로 픽셀별 오차를 곱하여 랜드마크 주변의 복원을 집중시키는 얼굴 주의(attention) 손실을 제안한다.
• 힌트 기반 학습을 통해 SR 지향 랜드마크 히트맵을 생성하는 컴팩트한 FAN을 증류하여 비슷한 정확도를 달성한다.
• 후기 단계에서 히트맵 및 주의 손실을 더하고 픽셀 손실, 지각 손실, WGAN-GP 손실의 조합으로 학습한다.
• 과도한 사전 정보 없이 SR를 안내하기 위해 증류된 FAN 히트맵을 주의 가중치로 사용한다.

실험 결과

연구 질문

• RQ1 점진적 학습이 8x 얼굴 SR의 안정성 및 품질을 향상시킬 수 있는가?
• RQ2 주요 영역 근처의 얼굴 속성 보존을 향상시키기 위해 랜드마크 중심 주의(attention)를 도입하는 것이 효과적인가?
• RQ3 증류된 FAN이 SR 작업에 효과적인 랜드마크 히트맵을 제공하기에 충분한가?
• RQ4 지각 손실, 적대적 손실, 히트맵 손실, 주의(attention) 손실이 SR 결과를 개선하는 방식으로 어떻게 상호작용하는가?

주요 결과

• 본 방법은 얼굴 세부가 보존되고 지각적 품질이 더 높은 사진 실감형 8x SR을 달성한다.
• 증류된 FAN은 원래 FAN에 비해 훨씬 적은 매개변수로도 비슷한 랜드마크 히트맵을 제공한다.
• 얼굴 주의(attention) 손실은 ablation 대비 PSNR, SSIM, MS-SSIM을 향상시킨다.
• 점진적 학습은 비점진적 학습보다 얼굴 디테일 보존에 더 우수하다.
• MOS 테스트는 경쟁 방법들보다 지각적 우수성을 나타낸다.