[논문 리뷰] High-Quality Face Image SR Using Conditional Generative Adversarial Networks

Bin Huang, Weihai Chen외 2명|arXiv (Cornell University)|2017. 07. 04.

Advanced Image Processing Techniques참고 문헌 24인용 수 22

한 줄 요약

이 논문은 경계 균형 GAN을 사용하여 저해상도 입력에서 고해상도(4×) 얼굴 이미지를 생성하는 엔드 투 엔드 프레임워크인 얼굴 조건부 생성 적대적 네트워크(FCGAN)를 제안한다. 생성자에 난수 대신 저해상도 이미지를 조건으로 설정하고 L1 손실 및 스킵 연결을 적용함으로써, 얼굴 사전 지식이나 사전 처리 없이도 최고 수준의 PSNR(32.42)와 뛰어난 시각적 품질을 달성한다.

ABSTRACT

We propose a novel single face image super-resolution method, which named Face Conditional Generative Adversarial Network(FCGAN), based on boundary equilibrium generative adversarial networks. Without taking any facial prior information, our method can generate a high-resolution face image from a low-resolution one. Compared with existing studies, both our training and testing phases are end-to-end pipeline with little pre/post-processing. To enhance the convergence speed and strengthen feature propagation, skip-layer connection is further employed in the generative and discriminative networks. Extensive experiments demonstrate that our model achieves competitive performance compared with state-of-the-art models.

연구 동기 및 목표

• 얼굴 사전 지식(예: 랜드마크 또는 정렬 정보)을 사용하지 않고 단일 얼굴 이미지의 엔드 투 엔드 초해상도 방법을 개발하는 것.
• 랜덤 노이즈 대신 저해상도 입력 이미지를 조건으로 사용하여 경계 균형 GAN(BEGAN) 프레임워크를 얼굴 이미지 초해상도에 적응시키는 것.
• 생성자 및 판별자 네트워크의 스킵 레이어 연결을 통해 학습 수렴 속도와 특징 전파를 향상시키는 것.
• 사전/후처리 단계 없이 CelebA 데이터셋에서 높은 시각적 품질과 경쟁 가능한 정량적 성능(PSNR)을 달성하는 것.

제안 방법

• 생성자 네트워크는 저해상도 얼굴 이미지($32\times32$)를 입력으로 받아, 스킵 연결을 갖춘 U-Net 유사 아키텍처를 사용하여 고해상도 출력($128\times128$)을 생성한다.
• 판별자 네트워크는 동일한 저해상도 입력을 조건으로 한 진짜 고해상도 이미지와 생성된 고해상도 이미지를 구분하도록 훈련된다.
• 학습 안정성 향상과 인지적 품질 향상을 위해 픽셀 단위의 $L_1$ 재구성 손실을 포함한 조건부 GAN 손실을 사용한다.
• 표준 GAN 손실에 기울기 페널티 항목을 결합하여 생성자와 판별자 간의 균형을 확보함으로써 BEGAN 프레임워크를 따르는 훈련 목표를 설정한다.
• 생성자 및 판별자 양쪽에 스킵 연결을 적용하여 특징 전파를 향상시키고 수렴 속도를 가속화한다.
• 입력-출력 쌍은 이중선형 보간 및 내삽을 통해 생성된 bicubic 다운샘플링을 사용하여 CelebA 데이터셋을 기반으로 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 BEGAN 기반의 조건부 GAN 프레임워크는 얼굴 사전 지식에 의존하지 않고 저해상도 입력에서 고품질 얼굴 이미지를 생성할 수 있는가?
• RQ2 생성자를 난수 대신 저해상도 이미지를 조건으로 설정할 경우, 생성된 고해상도 얼굴 이미지의 품질과 정밀도에는 어떤 영향을 미치는가?
• RQ3 스킵 연결과 $L_1$ 손실은 얼굴 초해상도에서 수렴 속도와 시각적 품질 향상에 얼마나 기여하는가?
• RQ4 정량적 지표(PSNR)와 정성적 이미지 품질 측면에서 FCGAN은 최고 수준의 기존 방법들과 비교해 어떻게 성과를 내는가?
• RQ5 모델은 정렬 또는 사전 처리 없이 자세, 표정, 조명, 가림 등의 변화에 대해 안정적으로 일반화될 수 있는가?

주요 결과

• FCGAN은 CelebA 데이터셋에서 PSNR 32.42를 기록하여 LapSRN(32.13) 및 FSRCNN(31.92)을 포함한 최고 수준의 기존 방법들을 능가한다.
• 시각적 비교 결과, FCGAN은 이중선형 보간, pix2pix 및 기타 최고 수준의 모델 대비 더 선명한 얼굴 세부 정보와 더 현실적인 질감을 생성한다.
• 모델은 다양한 조건(자세, 표정, 조명, 가림(예: 안경 또는 모자))에서도 일관되게 고품질의 고해상도 얼굴 이미지를 생성한다.
• 스킵 연결의 사용은 잔차 연결이 없는 더 깊은 CNN 대비 학습 수렴 속도와 안정성을 크게 향상시킨다.
• 얼굴 정렬 또는 랜드마크 검출 등의 사전 처리 단계가 없어도 성능 저하가 발생하지 않아, 조건부 GAN 접근법의 강건성을 입증한다.
• 모델은 완전히 엔드 투 엔드로 구성되어 있으며, 외부 사전 지식이나 후처리가 필요 없고, 단일 순방향 전파로 저해상도 입력에서 고해상도 이미지를 직접 생성한다.