[논문 리뷰] Hallucinating very low-resolution and obscured face images

Lianping Yang, Bin Shao외 3명|arXiv (Cornell University)|2018. 11. 12.

Advanced Image Processing Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 16×16 픽셀의 매우 낮은 해상도 및 심한 가림을 겪는 입력에서 8배 확대 비율로 고해상도(HR) 얼굴 이미지를 환기하는 데 전용된 새로운 딥러닝 프레임워크인 OFHNet을 제안한다. 이 방법은 이중 단계 접근 방식을 사용한다: 먼저, 인코더-디코더 기반의 인painting 네트워크가 저해상도 이미지의 손실된 영역을 복원하고, 그 다음으로 적대적 손실, 의미론적 구조 손실(고정된 얼굴 특징점 사용), 그리고 L2 손실을 통합한 초해상도 업샘플링 네트워크를 적용하여, 도전적인 가림을 겪는 입력에서 최신 기술 수준의 시각적 품질과 구조적 충실도를 달성한다.

ABSTRACT

Most of the face hallucination methods are designed for complete inputs. They will not work well if the inputs are very tiny or contaminated by large occlusion. Inspired by this fact, we propose an obscured face hallucination network(OFHNet). The OFHNet consists of four parts: an inpainting network, an upsampling network, a discriminative network, and a fixed facial landmark detection network. The inpainting network restores the low-resolution(LR) obscured face images. The following upsampling network is to upsample the output of inpainting network. In order to ensure the generated high-resolution(HR) face images more photo-realistic, we utilize the discriminative network and the facial landmark detection network to better the result of upsampling network. In addition, we present a semantic structure loss, which makes the generated HR face images more pleasing. Extensive experiments show that our framework can restore the appealing HR face images from 1/4 missing area LR face images with a challenging scaling factor of 8x.

연구 동기 및 목표

• 매우 낮은 해상도(16×16 픽셀)이자 심한 가림을 겪는 입력에서 8배 확대 비율로 고해상도 얼굴 이미지를 환기하는 문제를 해결하기 위해.
• 부분적으로 손상되거나 매우 작은 입력에서 실패하는 기존 얼굴 환기 방법의 한계를 극복하기 위해.
• 의미론적 구조 손실을 통해 얼굴 특징점 사전 지식을 통합함으로써 생성된 고해상도 얼굴 이미지의 시각적 품질과 구조적 충실도를 향상시키기 위해.
• 먼저 저해상도 이미지의 손실 영역을 복원한 후 초해상도를 적용하는 이중 단계 프레임워크를 개발하여 재구성 어려움을 줄이기 위해.

제안 방법

• 저해상도이자 가려진 얼굴 이미지의 손실된 영역을 복원하기 위해 인코더-디코더 기반의 인painting 네트워크를 사용하여 알려진 영역과 복원된 영역 간의 의미론적 일관성을 확보한다.
• 별도의 업샘플링 네트워크가 복원된 저해상도 이미지에 대해 8배 초해상도를 수행하며, L2 손실, 적대적 손실, 그리고 고정된 얼굴 특징점 검출 기반의 새로운 의미론적 구조 손실을 조합한다.
• 의미론적 구조 손실은 고정된 사전 학습된 얼굴 특징점 검출 네트워크에서 유도되며, 얼굴 기하학을 유지하고 시각적 현실감을 향상시키기 위한 지도를 제공한다.
• 업샘플링 네트워크에 대해 적대적 훈련을 적용하여 생성된 고해상도 이미지가 실제 고해상도 이미지와 구별되지 않도록 사진 유사성 향상을 도모한다.
• 전체적으로는 다중 손실 목표를 사용하여 엔드 투 엔드로 훈련되는 아키텍처로서, 픽셀 수준 재구성에 대한 L2 손실, 현실감에 대한 적대적 손실, 얼굴 레이아웃 충실도에 대한 의미론적 구조 손실이 포함된다.
• 전체 아키텍처는 인코더-디코더-디코더 프레임워크이며, 첫 번째 디코더로 인painting 네트워크, 두 번째 디코더로 업샘플링 네트워크를 구성하고, 특징 추출을 위한 공유 인코더를 사용한다.

실험 결과

연구 질문

• RQ1 딥러닝 프레임워크가 16×16 픽셀 입력에서 1/4 면적의 가림을 겪고 8배 확대 비율을 적용할 때도 고해상도 얼굴 이미지를 효과적으로 복원할 수 있는가?
• RQ2 의미론적 구조 손실로 활용되는 얼굴 특징점 사전 지식을 통합할 경우, 환기된 얼굴 이미지의 시각적 품질과 구조적 정확도가 어떻게 향상되는가?
• RQ3 먼저 저해상도 이미지를 인painting하고 나서 초해상도를 적용하는 이중 단계 접근 방식이, 직접적인 초해상도 적용보다 더 나은 성능을 내는가?
• RQ4 L2, 적대적, 의미론적 구조 손실의 조합이 표준 손실 함수에 비해 얼마나 더 현실적이고 구조적으로 정확한 고해상도 얼굴 이미지를 생성하는 데 뛰어난가?

주요 결과

• 기준 데이터셋에서 OFHNet은 PSNR 20.44 dB, SSIM 0.63을 기록하여 URDGN 대비 PSNR 0.44 dB 향상 및 SSIM 10.5% 향상된 성능을 보였다.
• 의미론적 구조 손실의 포함으로 시각적 품질이 크게 향상되었으며, OFHNet이 L2 손실 전용 기준 모델 대비 더 현실적이고 세부적인 얼굴 특징을 생성하는 것으로 질적 비교를 통해 확인되었다.
• OFHNet은 URDGN 대비 더 낮은 NRMSE(5.33)와 더 높은 IoU(0.60)를 기록하여 얼굴 정렬 및 분할 작업에서 우수한 기하학적 충실도를 보였다(URDGN: NRMSE 13.61, IoU 0.40).
• 무작위 가림 패턴(좌상단, 우상단, 좌하단, 우하단)에 대해서도 일반화 능력이 뛰어나 일관되게 타당하고 조화로운 고해상도 얼굴 재구성을 생성했다.
• 가림 크기가 4×4 픽셀에서 8×8 픽셀로 증가함에 따라 PSNR가 단조롭게 감소함을 확인하여, 점점 더 높아지는 재구성 난이도에 대한 방법의 강건성을 입증했다.
• 절단 실험을 통해 의미론적 구조 손실이 시각적 품질 향상에 핵심적임을 확인하였으며, L2 손실 전용 또는 적대적 손실 전용 대비 뚜렷한 성능 향상이 나타났다.