[논문 리뷰] Learning to Hallucinate Face Images via Component Generation and Enhancement

Yibing Song, Jiawei Zhang외 3명|arXiv (Cornell University)|2017. 08. 01.

Advanced Image Processing Techniques참고 문헌 16인용 수 21

한 줄 요약

이 논문은 두 단계로 구성된 얼굴 환영 기법인 성분 생성 및 향상을 통한 얼굴 이미지 환영 학습(Learning to Hallucinate Face Images via Component Generation and Enhancement, LCGE)을 제안한다. 이 방법은 먼저 CNN을 사용해 깊이 있는 얼굴 성분을 생성하여 특징 매칭을 향상시키고, 이후 K-NN 검색과 에지 인식 필터링을 통해 고해상도 훈련 이미지에서 세밀한 디테일을 전달함으로써 성분을 향상시킨다. 이 방법은 정량적 지표와 시각적 품질 모두에서 최신 기술(SOTA) 수준의 성능을 달성하며, 특히 고비율의 확대 요건에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a two-stage method for face hallucination. First, we generate facial components of the input image using CNNs. These components represent the basic facial structures. Second, we synthesize fine-grained facial structures from high resolution training images. The details of these structures are transferred into facial components for enhancement. Therefore, we generate facial components to approximate ground truth global appearance in the first stage and enhance them through recovering details in the second stage. The experiments demonstrate that our method performs favorably against state-of-the-art methods

연구 동기 및 목표

• 낮은 해상도의 얼굴 이미지에서 특징 매칭이 열악한 문제를 해결함으로써, 얼굴 환영에서 정확한 디테일 전달을 방해하는 요소를 제거하고자 한다.
• 얼굴의 도메인 특성에 기인한 특성으로 인해 종단간 CNN의 얼굴 성분 디테일 유지 능력에 한계가 있음을 극복하고자 한다.
• 두 단계 프레임워크를 통해 전반적인 외관 모델링과 국소적 디테일 향상의 분리함으로써 환영 품질을 향상시키고자 한다.
• 기존 방법이 대응 관계가 맞지 않아 실패하는 고비율 확대(예: 10×) 조건에서도 안정적인 성능을 확보하고자 한다.

제안 방법

• 입력된 저해상도 얼굴 이미지를 눈, 눈썹, 코, 입, 나머지 영역의 다섯 가지 얼굴 성분으로 나누며, 각 성분은 전용 CNN을 통해 깊이 있는 성분 생성을 수행한다.
• 각 얼굴 성분은 별도의 CNN을 사용해 확대되어 질감을 풍부하게 하고 고해상도 훈련 이미지와의 매칭을 향상시킨다.
• 고해상도 훈련 이미지에서 패치 기반 K-NN 검색을 통해 세밀한 얼굴 구조를 추출하여, 각 입력 성분와 가장 유사한 성분을 찾는다.
• 매칭된 고해상도 성분의 디테일을 에지 인식 이미지 필터링을 사용해 생성된 성분에 전달함으로써 구조적 통합성을 유지한다.
• 깊이 있는 성분 표현을 활용함으로써 명시적 얼굴 정렬을 피하면서도 자연스럽게 대응 정확도를 향상시킨다.
• 최종 출력은 향상된 성분들을 융합하여 전반적인 외관 일관성과 고주파 디테일 복구를 동시에 확보한다.

실험 결과

연구 질문

• RQ1 깊이 있는 얼굴 성분 생성이 저해상도 입력과 고해상도 훈련 이미지 간의 특징 매칭 정확도를 향상시키는가?
• RQ2 전반적인 외관 복원과 국소적 디테일 향상의 분리가 종단간 CNN보다 더 나은 환영 품질을 제공하는가?
• RQ3 기존 방법이 실패하는 극한의 확대 비율(예: 10×) 조건에서 이 방법은 어떻게 성능을 내는가?
• RQ4 깊이 있는 성분에 대한 K-NN 기반 패치 매칭이 수작업 특징 매칭보다 디테일 전달에서 뛰어난가?
• RQ5 에지 인식 필터링은 세밀한 디테일 향상과 함께 얼굴 구조를 얼마나 잘 유지하는가?

주요 결과

• 제안된 LCGE 방법은 4× 확대에서 Multi-PIE 데이터셋에서 PSNR 38.04, SSIM 0.95를 기록하며 모든 기준 방법을 능가한다.
• 10× 확대에서 LCGE는 PSNR 32.43, SSIM 0.79를 기록하며, SCSR, SRCNN, SFH와 같이 블러링 및 아티팩트 문제로 인해 실패하는 기존 방법들과는 달리 뛰어난 내구성을 보여준다.
• LCGE는 눈과 코와 같은 얼굴 성분에서 흔히 발생하는 형태 왜곡, 조명 불일치 및 가로등 아티팩트를 감소시켰으며, 이는 SFH와 SRResNet에서 흔한 문제이다.
• 정성적 비교를 통해 눈과 입과 같은 고주파 영역에서의 디테일 복구 능력이 뚜렷이 향상되었음을 확인하였다.
• 두 단계 설계 덕분에 전반적인 얼굴 구조와 국소적 질감 양쪽 모두를 더 잘 유지할 수 있었으며, 이는 더 높은 수치적 점수와 더 현실적인 출력을 이끌어냈다.
• 제거 실험(ablation study) 결과, 성분 생성과 디테일 향상 단계가 모두 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 성능이 크게 떨어졌다.