[논문 리뷰] Versatile Auxiliary Classifier with Generative Adversarial Network (VAC+GAN)

Shabab Bazrafkan, Hossein Javidnia외 1명|arXiv (Cornell University)|2018. 05. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 8인용 수 3

한 줄 요약

이 논문은 조건부 GAN을 향상시키기 위해 생성기의 역전파 경로를 통해 클래스별 손실을 전달하는 병렬 분류기 모듈을 추가한 유연한 프레임워크 VAC+GAN을 제안한다. 이로 인해 생성 샘플의 클래스 제어가 정밀해지며, 기존 손실 함수를 수정하지 않으면서도 어떤 GAN 아키텍처와도 호환된다. 이는 성별에 따라 다른 얼굴 생성 작업에서 검증되었으며, 더 뛰어난 메트릭스를 확보하였다.

ABSTRACT

One of the most interesting challenges in Artificial Intelligence is to train conditional generators which are able to provide labeled adversarial samples drawn from a specific distribution. In this work, a new framework is presented to train a deep conditional generator by placing a classifier in parallel with the discriminator and back propagate the classification error through the generator network. The method is versatile and is applicable to any variations of Generative Adversarial Network (GAN) implementation, and also gives superior results compared to similar methods.

연구 동기 및 목표

• 다양한 GAN 아키텍처에서 기존 조건부 GAN의 클래스별로 구분되는 샘플 생성 능력의 한계를 해결하기 위해.
• ACGAN 및 CGAN와 같은 방법에서 디스커미네이터와 분류기 손실을 융합할 때 발생하는 안정성 및 수렴 문제, 특히 출력 차원이 다를 경우의 문제를 해결하기 위해.
• 디스커미네이터나 생성기의 아키텍처에 관계없이 수렴하는 모든 GAN 프레임워크와 호환되는 통합형 플러그 앤 플레이 솔루션을 개발하기 위해.
• 제안된 분류기 역전파 메커니즘이 생성 샘플의 클래스 간 분리도와 다양성 향상에 기여하는 것을 수학적으로 증명하기 위해.
• 성별에 따라 다른 얼굴 생성 작업에서 경험적으로 방법의 성능을 검증하여 기준 조건부 GAN 대비 뛰어난 성능을 보여주기 위해.

제안 방법

• 생성기의 출력에 병렬 분류기 네트워크를 추가하여 분류 손실을 디스커미네이터의 손실 함수에서 분리한다.
• 분류기의 이진 교차 엔트로피 손실이 생성기의 경로를 통해 역전파되어, 원래 GAN의 학습 목표를 수정하지 않고도 클래스별 최적화가 가능해진다.
• 수학적으로 제안된 메커니즘이 최적의 분류기를 수렴함을 증명하였으며, 최적의 분류기는 $ C_{G,D}^{*} = \frac{p_{X_1}(\mathbf{x})}{p_{X_1}(\mathbf{x}) + p_{X_2}(\mathbf{x})} $ 로 표현된다.
• 프레임워크는 BEGAN에 적용되었으며, 생성기 손실은 BEGAN 목적함수와 분류기의 BCE 손실을 조합하고, 디스커미네이터 손실은 표준 BEGAN 손실을 사용한다.
• 분류기는 Nesterov 모멘타ム을 사용하여 훈련되며, 생성기와 디스커미네이터는 특정 하이퍼파rameter(학습률=0.0001, β₁=0.5, β₂=0.999)를 가진 ADAM 옵티마이저를 사용한다.
• 잠재공간이 두 개의 상호배타적인 부분공간(예: 남성/여성 얼굴)으로 분할되며, 첫 번째 차원이 클래스 조건으로 사용된다.

실험 결과

연구 질문

• RQ1 GAN에서 분류기 손실을 디스커미네이터의 손실에서 분리함으로써, 원래 GAN 아키텍처를 수정하지 않고도 학습 안정성과 클래스별 생성 품질을 향상시킬 수 있는가?
• RQ2 생성기의 경로를 통해 분류 오차를 역전파하면, 생성된 클래스 간의 젠슨-쇼넬레르 분산이 증가하여 더 나은 클래스 간 분리가 이루어지는가?
• RQ3 제안된 방법은 디스커미네이터 출력 유형(예: 스칼라 vs. 이미지 출력)에 관계없이 모든 GAN 유형에 일반적으로 적용 가능한가?
• RQ4 VAC+GAN은 다중 클래스 생성 작업에서 CGAN과 ACGAN에 비해 더 다양한 클래스별 샘플을 생성하는 데서 뛰어난 성능을 보이는가?
• RQ5 이 방법은 생성 샘플의 클래스 간 이질성과 클래스 내 다양성 향상에 어느 정도 기여하는가?

주요 결과

• VAC+GAN 프레임워크는 기존 CBEGAN 방법이 클래스 특성을 유지하지 못하는 데 반해, 높은 품질과 뚜렷한 클래스 특성을 지닌 성별에 따라 다른 얼굴 샘플을 성공적으로 생성하였다.
• 제안된 방법은 동일 클래스 내 비교에서 더 낮은 UQI 및 SSIM 점수를 기록하였다(그림 5의 파랑 및_PURPLE 막대), 이는 같은 클래스 내 샘플 간 유사도가 감소했음을 의미한다.
• VAC+GAN의 이질 클래스 유사도(그림 5의 노랑색 막대)는 CBEGAN보다 유의미하게 낮아, 서로 다른 클래스에서 생성된 샘플이 더 잘 구분됨을 확인하였다.
• 제안된 방법은 MSE, RMSE, MAE 값이 더 높게 나타났다(그림 6), 이는 클래스 내외에서 생성된 이미지 간의 변동성이 더 크다는 것을 보여준다.
• 수학적 증명에 따르면, 클래스 분포가 균형을 이루었을 때 분류기 손실이 최대화되며, 이는 최적의 클래스 분리가 보장됨을 의미한다.
• 분류기 훈련이 분리되어 있으므로, 비스칼라 디스커미네이터 출력을 가진 GAN 프레임워크를 포함한 모든 GAN 프레임워크에 대해 보편적으로 적용 가능함이 입증되었다.