[논문 리뷰] Global-Local Face Upsampling Network

Oncel Tuzel, Yuichi Taguchi외 1명|arXiv (Cornell University)|2016. 03. 23.

Advanced Image Processing Techniques참고 문헌 39인용 수 21

한 줄 요약

이 논문은 매우 저해상도 입력(예: 10×12 픽셀)에서 고품질의 얼굴 환영을 위해 전반적인 얼굴 구조와 국소적인 질감 세부 정보를 동시에 학습하는 딥러닝 기반의 글로벌-로컬 얼굴 업샘플링 네트워크를 제안한다. 재구성 손실과 시각적 품질을 위한 적대적 손실을 조합함으로써, 통제된 환경과 비통제된 환경 모두에서 최신 기술 수준의 성능을 달성하여 기존 방법에 비해 시각적 정확도와 세부 정보 복원 능력이 크게 향상된다.

ABSTRACT

Face hallucination, which is the task of generating a high-resolution face image from a low-resolution input image, is a well-studied problem that is useful in widespread application areas. Face hallucination is particularly challenging when the input face resolution is very low (e.g., 10 x 12 pixels) and/or the image is captured in an uncontrolled setting with large pose and illumination variations. In this paper, we revisit the algorithm introduced in [1] and present a deep interpretation of this framework that achieves state-of-the-art under such challenging scenarios. In our deep network architecture the global and local constraints that define a face can be efficiently modeled and learned end-to-end using training data. Conceptually our network design can be partitioned into two sub-networks: the first one implements the holistic face reconstruction according to global constraints, and the second one enhances face-specific details and enforces local patch statistics. We optimize the deep network using a new loss function for super-resolution that combines reconstruction error with a learned face quality measure in adversarial setting, producing improved visual results. We conduct extensive experiments in both controlled and uncontrolled setups and show that our algorithm improves the state of the art both numerically and visually.

연구 동기 및 목표

• 극도로 저해상도 및 비통제된 조건(예: 큰 자세 변화, 조명 변화)에서 얼굴 환영 문제를 해결하기 위해.
• 이전의 이중 단계 방법의 한계를 극복하기 위해, 예를 들어 선형 이겐페이스 모델에 의존하거나 계산 비용이 큰 패치 검색에 의존하는 것과 같은 문제를 해결하기 위해.
• 전체적인 얼굴 제약 조건과 국소 패치 통계를 동시에 최적화하는 엔드 투 엔드 학습이 가능한 딥 네트워크를 개발하기 위해.
• PSNR/SSIM을 넘어서는 시각적 품질 향상을 위해 학습된 적대적 손실을 도입하여 시각적 현실감을 향상시키기 위해.

제안 방법

• 네트워크는 전반적인 얼굴 재구성에 기반한 하위 네트워크(예: 대칭성, 자세 등 전반적인 제약 조건)와 국소 세부 정보를 패치 수준 통계를 통해 향상시키는 하위 네트워크로 구성된다.
• 전반적인 제약 조건은 훈련 데이터로부터 고수준의 얼굴 구조를 학습하는 딥 인코더-디코더 아키텍처를 통해 모델링된다.
• 국소 세부 정보는 고해상도 얼굴 패치와의 통계 일관성을 강제하는 리파인먼트 하위 네트워크를 통해 향상된다.
• 모델은 평균 제곱 오차 재구성 오차와 얼굴 품질을 평가하는 디스크림ิน레이터 네트워크로부터 유도된 적대적 손실을 조합한 하이브리드 손실을 사용하여 훈련된다.
• 적대적 손실은 품질 유지와 시각적 현실감 사이의 균형을 맞추기 위해 가중치 인자 λ를 통해 최적화되며, 이는 아티팩트를 감소시키고 날카움을 향상시킨다.
• 색상 업샘플링은 루미너스(Y) 채널을 처리하고 이중 선형 보간된 색상 채널(u, v)을 융합함으로써 수행된다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 엔드 투 엔드 네트워크가 저해상도 및 비통제된 환경에서 얼굴 환영 성능을 향상시키기 위해 전반적인 얼굴 구조와 국소 질감 세부 정보를 동시에 모델링할 수 있는가?
• RQ2 재구성 손실과 적대적 손실을 조합함으로써 초해상도에서 시각적 품질과 시각적 현실감은 어떻게 향상되는가?
• RQ3 제안된 방법이 정량적 지표와 시각적 정확도 측면에서 이전의 최고 수준 기술에 비해 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 적대적 손실의 가중치 설정에 따라 성능에 얼마나 민감한가? PSNR와 시각적 현실감 사이의 상충 관계는 어떠한가?
• RQ5 극도로 큰 자세 변화, 표정 변화 또는 가림 상태에서 이 방법의 실패 모드는 무엇인가?

주요 결과

• 제안된 글로벌-로컬 네트워크(GLN)는 8× 업샘플링에서 FRGC에서 30.34 dB의 PSNR와 0.884의 SSIM을 기록하여 두 지표 모두 기존 방법을 능가한다.
• 적대적 정밀 조정은 시각적 품질을 크게 향상시켜 더 날카운 이미지와 더 많은 얼굴 세부 정보를 생성하지만, 8× 업샘플링에서 PSNR는 약 0.25 dB 감소한다.
• 8× 업샘플링에서 λ=8×10³로 설정한 GLN은 가장 날카로운 결과를 내며 얼굴 기능이 향상되지만, 일부 고주파 아티팩트가 나타난다.
• GLN-Only 및 LN-Only 아블레이션 변형 분석 결과, 전역 및 국소 모듈 모두가 필수적임을 확인하였으며, GLN8가 가장 뛰어난 성능을 기록하였다.
• 실패 사례는 주로 큰 자세 변화, 표정 변화 또는 가림 상태에서 발생하며, 이 경우 네트워크가 정확한 얼굴 기하학적 구조를 재구성하는 데 어려움을 겪는다.
• 색상 업샘플링 결과(그림 9–10)는 YUV 색상 공간에 적용했을 때도 시각적 품질을 유지함을 확인하였으며, 자연스러운 피부 톤과 질감을 유지한다.