[논문 리뷰] Face Completion with Semantic Knowledge and Collaborative Adversarial Learning

Haofu Liao, Gareth Funka-Lea외 3명|arXiv (Cornell University)|2018. 12. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 8

한 줄 요약

이 논문은 얼굴 완성에 대해 공동 학습된 생성적 적대적 네트워크(collaGAN)를 제안하며, 얼굴 보정, 랜드마크 검출, 의미 분할을 공동으로 학습하여 구조적 현실감과 의미 일致성을 향상시킨다. 보정에 특화된 손실 설계를 강조하고 태스크 간 특징 공유를 통해, 단일 태스크 및 비공동 GAN 기반 모델보다 보정 품질과 보조 태스크 정확도에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Unlike a conventional background inpainting approach that infers a missing area from image patches similar to the background, face completion requires semantic knowledge about the target object for realistic outputs. Current image inpainting approaches utilize generative adversarial networks (GANs) to achieve such semantic understanding. However, in adversarial learning, the semantic knowledge is learned implicitly and hence good semantic understanding is not always guaranteed. In this work, we propose a collaborative adversarial learning approach to face completion to explicitly induce the training process. Our method is formulated under a novel generative framework called collaborative GAN (collaGAN), which allows better semantic understanding of a target object through collaborative learning of multiple tasks including face completion, landmark detection, and semantic segmentation. Together with the collaGAN, we also introduce an inpainting concentrated scheme such that the model emphasizes more on inpainting instead of autoencoding. Extensive experiments show that the proposed designs are indeed effective and collaborative adversarial learning provides better feature representations of the faces. In comparison with other generative image inpainting models and single task learning methods, our solution produces superior performances on all tasks.

연구 동기 및 목표

• 기존 GAN 기반 얼굴 보정 기법이 얼굴 구조에 대한 명시적 의미 이해가 부족한 한계를 해결하기 위해.
• 랜드마크 검출 및 의미 분할과 같은 연관 태스크로부터의 의미 지식을 명시적으로 통합함으로써 얼굴 보정의 구조적 현실감을 향상시키기 위해.
• 다양한 얼굴 관련 태스크 간 지식 공유를 가능하게 하는 통합 생성 프레임워크를 개발하여 더 나은 특징 표현을 확보하기 위해.
• 오토에코딩이 아닌 보정에 최적화된 최적화 전략이 더 뛰어난 재구성 품질을 이끌 수 있음을 입증하기 위해.

제안 방법

• 단일 생성자(generator)가 얼굴 보정, 랜드마크 검출, 의미 분할을 위한 출력을 공유된 인코더-디코더 특징을 사용하여 동시에 생성하는 새로운 공동 GAN(collaGAN) 프레임워크를 도입한다.
• 공간적 세부 정보를 유지하고 재구성 정밀도를 향상시키기 위해 인코더와 디코더 사이에 스킵 연결을 적용한다.
• 각 태스크별로 전용 디스_crìminator를 갖춘 조건부 GAN을 사용하여 생성 출력의 품질과 일관성을 향상시킨다.
• 맥락 오토에코딩보다는 마스크된 영역의 재구성을 우선시하는 보정 중심 손실 설계를 적용하여 누락 영역에 대한 집중도를 높인다.
• 태스크 간 지식 전이와 공동 학습을 장려하기 위해 대부분의 네트워크 파라미터를 공유한다.
• 보정(SIM/PSNR), 분할(Dice 계수), 랜드마크 검출(위치 오차)에 대해 각각 별도의 손실 함수를 사용하는 다중 태스크 감독을 구현한다.

실험 결과

연구 질문

• RQ1 다양한 얼굴 관련 태스크의 공동 학습이 단일 태스크 GAN에 비해 보정의 현실감과 구조적 일관성에 기여하는가?
• RQ2 분할 및 랜드마크 검출의 공동 학습을 통해 의미 지식을 명시적으로 통합하면 생성자 내 특징 표현이 향상되는가?
• RQ3 표준 오토에코딩 목적함수에 비해 보정 중심 손실 설계는 재구성 품질 측면에서 어떻게 비교되는가?
• RQ4 태스크 간 지식 공유가 주 보정 태스크를 포함한 모든 태스크의 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 공동 GAN 프레임워크가 다양한 마스크 구성 조건 하에서 최신 기술 생성 모델을 초월하는가?

주요 결과

• 제안된 방법 M*i,s,d*는 왼쪽 눈 마스크에서 최고의 SSIM(92.4%)와 PSNR(27.76 dB)를 기록했으며, SOTA 기법인 GFC에 비해 SSIM은 1.8% 향상되고 PSNR는 0.6 dB 향상되었다.
• 하부 얼굴 마스크(O6)에서 모델은 SSIM 91.7%, PSNR 27.81 dB를 기록했으며, GFC(90.0%/27.13 dB)와 SII(87.8%/24.84 dB)에 비해 뚜렷한 우수성을 보였다.
• 공동 모델 M*i,s,d*는 랜드마크 검출 오차를 단일 태스크 모델 M_d의 2.38 픽셀에서 1.72 픽셀으로 감소시켜 27.7% 향상시켰다.
• 의미 분할의 Dice 스코어는 M_s의 76.1%에서 M*i,s,d*의 77.2%로 향상되었으며, 하복부(82.8%)와 코(91.0%)와 같은 핵심 영역에서 최고 성능 기록했다.
• 보정 중심 손실 설계는 표준 오토에코딩 목적함수에 비해 모든 마스크 유형에서 더 뛰어난 보정 성능을 보였으며, SSIM과 PSNR가 모두 높게 나타났다.
• 모델는 태스크 간 시각적으로 일관된 결과를 생성한다: 분할 마스크가 보정된 얼굴과 밀도 있게 일치하여 효과적인 지식 공유를 입증한다.