[논문 리뷰] Versatile Auxiliary Regressor with Generative Adversarial network (VAR+GAN)

Shabab Bazrafkan, Peter Corcoran|arXiv (Cornell University)|2018. 05. 28.

Face recognition and analysis참고 문헌 10인용 수 7

한 줄 요약

이 논문은 VAR+GAN을 제안하며, 회귀 헤드를 디스criminator와 병렬로 통합함으로써 조건부 GAN을 회귀 작업으로 확장하는 다용도 프레임워크이다. 이는 얼굴 랜드마크와 같은 연속적 속성 제어를 가능하게 한다. 이 방법은 생성자 출력 엔트로피를 감소시키고 조건부 분포 간 젠슨-쇼난 분산을 증가시키는 새로운 손실 함수를 사용하여, cBiGAN에 비해 더 높은 다양성과 더 나은 제어성을 가진 생성 샘플을 얻는다.

ABSTRACT

Being able to generate constrained samples is one of the most appealing applications of the deep generators. Conditional generators are one of the successful implementations of such models wherein the created samples are constrained to a specific class. In this work, the application of these networks is extended to regression problems wherein the conditional generator is restrained to any continuous aspect of the data. A new loss function is presented for the regression network and also implementations for generating faces with any particular set of landmarks is provided.

연구 동기 및 목표

• 조건부 GAN을 이산 클래스 조건에서 연속적 속성 제어로 확장하여 생성 모델링에 응용하는 것.
• 동일한 연속적 속성에 대해 생성되는 샘플의 다양성이 부족한 기존의 조건부 GAN(예: cBiGAN)의 문제를 해결하는 것.
• 모든 GAN 변종에 적용 가능한 유연한, 아키텍처에 종속되지 않는 방법을 개발하는 것.
• 얼굴 랜드마크와 같은 연속적 속성으로 제약을 받는 고품질의 다양성 있는 데이터 생성을 가능하게 하는 것.

제안 방법

• 생성자(G)가 잠재 노이즈와 목표 연속적 속성에 조건화되며, 디스criminator(D)와 병렬로 학습되는 회귀 네트워크(R)를 도입하는 것.
• 회귀기 최적화를 위한 새로운 손실 함수 $ L_R = \int\!\!\int dp_z(\mathbf{z}) \left( -\log\left(1 - (y - R(G(\mathbf{z})))\right) \right) dz $ 를 제안하는 것.
• 회귀 오차를 생성자로 역전파하여, 생성자 출력이 목표 연속적 속성과 일치하도록 엔드 투 엔드 학습을 가능하게 하는 것.
• 이론적 분석을 통해 $ L_R $ 를 최소화할 경우 생성자 출력 분포의 엔트로피가 감소함을 증명하며, 이는 생성 샘플에 대한 더 강한 제어를 의미한다.
• 모든 GAN 아키텍처와 손실 함수에 호환되므로, 다양한 구현에 매우 다용도적이다.
• 얼굴 생성 및 랜드마크 제어에 대해 정성적 및 정량적 다양성 지표를 사용하여 cBiGAN과 비교하여 실증적으로 검증한 바 있다.

실험 결과

연구 질문

• RQ1 GAN 프레임워크를 이산 클래스 조건이 아닌 연속적 속성(예: 얼굴 랜드마크) 제어로 확장할 수 있는가?
• RQ2 동일한 연속적 속성 조건에 대해 생성자가 다양한 샘플을 생성하도록 어떻게 학습시킬 수 있는가?
• RQ3 제안된 손실 함수가 생성 샘플의 엔트로피를 효과적으로 감소시켜 속성 제어를 향상시키는가?
• RQ4 cBiGAN과 같은 연속적 속성 제어를 위한 최신 기법에 비해 제안된 방법은 다양성과 품질 측면에서 어떻게 비교되는가?
• RQ5 제안된 프레임워크는 아키텍처나 손실 함수 수정 없이 다양한 GAN 아키텍처에 일반적으로 적용 가능한가?

주요 결과

• cBiGAN에 비해 동일한 얼굴 랜드마크 조건에서 VAR+GAN이 훨씬 더 높은 다양성을 가진 얼굴을 생성한다. cBiGAN은 동일한 조건에서 매우 유사하거나 동일한 샘플을 생성한다.
• 제안된 손실 함수는 생성자 출력 분포의 엔트로피를 감소시켜, 모델이 생성 샘플에 대해 더 강한 제어를 한다는 것을 확인한다.
• 이론적 분석을 통해 회귀 손실을 최소화할 경우 생성 샘플의 조건부 분포 간 젠슨-쇼난 분산이 증가함을 보여주며, 이는 다양한 속성 조건 간의 분리가 향상됨을 의미한다.
• VAR+GAN은 BEGAN을 포함한 모든 GAN 변종과 완전히 호환되며, 생성자나 디스criminator 아키텍처를 수정할 필요가 없다.
• 이 방법은 다양하고 속성 제어가 가능한 샘플을 생성함으로써 데이터 증강에 효과적일 수 있으며, 이는 자료가 제한된 환경에서 강력한 모델을 훈련시키는 데 필수적이다.
• 실증 결과는 VAR+GAN이 시각적 다양성과 속성 일관성 측면에서 cBiGAN을 모두 능가함을 보여주며, 조건부 생성 작업에서의 우수성을 검증한다.