[논문 리뷰] Pipeline Generative Adversarial Networks for Facial Images Generation with Multiple Attributes

Ziqiang Zheng, Zhibin Yu외 3명|arXiv (Cornell University)|2017. 11. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 3

한 줄 요약

이 논문은 두 단계의 생성 적대적 네트워크인 Pipeline GAN(Pip-GAN)을 제안한다. Pip-GAN은 헤드 포즈와 얼굴 표정과 같은 다중 속성을 순차적으로 적용함으로써 고해상도의 얼굴 이미지를 생성한다. 먼저 포즈 생성자(Gp)가 중립 얼굴을 다양한 포즈로 변환하고, 그 다음으로 표정 생성자(Ge)가 그 결과 이미지에 목표 표정을 적용한다. 이미지 품질은 계단식 손실, 기울기 페널티, 병렬 분류기로 향상되어 KDEF 데이터셋에서 단일 GAN 및 다른 파이프라인 아키텍처보다 우수한 성능을 보이며 더 선명한 얼굴 세부 사항과 더 높은 정확도를 제공한다.

ABSTRACT

Generative Adversarial Networks are proved to be efficient on various kinds of image generation tasks. However, it is still a challenge if we want to generate images precisely. Many researchers focus on how to generate images with one attribute. But image generation under multiple attributes is still a tough work. In this paper, we try to generate a variety of face images under multiple constraints using a pipeline process. The Pip-GAN (Pipeline Generative Adversarial Network) we present employs a pipeline network structure which can generate a complex facial image step by step using a neutral face image. We applied our method on two face image databases and demonstrate its ability to generate convincing novel images of unseen identities under multiple conditions previously.

연구 동기 및 목표

• 표준 GAN이 동시에 여러 속성(예: 포즈와 표정)을 가진 얼굴 이미지를 생성하는 데 어려움을 겪는 문제를 해결하기 위해.
• 복잡한 작업을 두 단계로 분해함으로써 이미지 품질을 향상시키기 위해 포즈 생성을 먼저 수행하고, 그 다음으로 표정 생성을 수행하기 위해.
• 암시적 벡터를 코딩 레이어에 도입하고 병렬 분류기 디스커미네이터를 통해 특징 학습과 생성자 제어를 향상시키기 위해.
• 파이프라인 아키텍처의 효과성(PE 대 EP)과 구성 요소(기울기 페널티, 계단식 손실)가 이미지의 정밀도와 세부 사항에 미치는 영향을 평가하기 위해.
• 다양한 속성 조합이 필요한 얼굴 이미지 분석 작업에서 효과적인 데이터 증강 솔루션을 제공하기 위해.

제안 방법

• 모델은 두 단계의 파이프라인을 사용한다: 첫 번째로 포즈 생성자(Gp)가 중립 얼굴을 다양한 포즈로 변환하고, 두 번째로 표정 생성자(Ge)가 포즈 이미지에 목표 표정을 적용한다.
• 각 생성자는 전용 디스커미네이터(Dp용 포즈, De용 표정)와 짝을 이루어 순차적으로 연결된 두 개의 별도 GAN 브랜치를 형성한다.
• 각 생성자의 잠재 코드 레이어에 조건부 벡터를 삽입하여 특정 속성(포즈 또는 표정)을 제어하고 정밀한 생성을 유도한다.
• 에코더-디코더 네트워크의 버티컬 블로킹 지점에 병렬 분류기 디스커미네이터를 추가하여 특징 추출을 향상시키고 관련 속성을 분리한다.
• 훈련 안정성과 이미지 품질 향상을 위해 계단식 손실과 기울기 페널티를 통합하며, 전체 손실 함수는 적대적, 재구성, 정규화 항을 포함한다.
• 두 가지 파이프라인 순서를 평가한다: PE(포즈 먼저)와 EP(표정 먼저), 성능 비교를 위해 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 두 단계의 GAN 파이프라인은 단일 GAN보다 다수의 속성(예: 포즈와 표정)을 가진 얼굴 이미지를 더 효과적으로 생성할 수 있는가?
• RQ2 속성 적용 순서(포즈 먼저 대 표정 먼저)가 이미지 품질과 세부 사항의 정확도에 뚜렷한 영향을 미치는가?
• RQ3 기울기 페널티와 계단식 손실과 같은 추가 구성 요소가 파이프라인 GAN의 성능을 어떻게 향상시키는가?
• RQ4 제안된 모델은 다양한 속성 조합에서 알려지지 않은 신원의 현실적이며 고해상도의 이미지를 어느 정도 효과적으로 생성할 수 있는가?
• RQ5 이 모델은 속성 다양성이 제한된 얼굴 이미지 데이터셋에 대해 효과적인 데이터 증강 도구로 활용될 수 있는가?

주요 결과

• 포즈 먼저(PE) 파이프라인 아키텍처가 표정 먼저(EP) 아키텍처보다 우수한 성능을 보이며, 눈, 이가, 입과 같은 더 선명하고 정확한 얼굴 세부 사항을 제공한다.
• 전체 구성 요소(PE + 기울기 페널티 + 계단식 손실 + 병렬 분류기)를 갖춘 제안된 Pip-GAN은 모든 메트릭에서 최고의 성능을 기록하며, 단일 GAN 및 베이스라인 파이프라인 모델을 모두 능가한다.
• Pix2pix는 경쟁적인 PSNR 성능를 보였지만, MSE와 R-MSE에서 열등하여 특히 표정 생성에서 뿌연(흐릿한) 및 왜곡된 출력을 보였다.
• 파이프라인 접근 방식은 단일 GAN 모델보다 이미지 품질을 크게 향상시켰으며, PE 아키텍처는 극단적인 포즈와 표정 조건에서도 신뢰할 수 있는 얼굴 기능을 생성했다.
• 기울기 페널티와 계단식 손실의 통합은 이미지 정밀도 향상과 모드 붕괴 감소에 측정 가능한 기여를 하였다.
• 모델은 입력당 24개의 고유한 얼굴 이미지(5개의 포즈와 7개의 표정 조합)를 성공적으로 생성하여 KDEF 데이터셋에서 효과적인 데이터 증강 잠재력을 입증하였다.