[논문 리뷰] Comparing Generative Adversarial Network Techniques for Image Creation and Modification

Mathijs Pieters, Marco Wiering|arXiv (Cornell University)|2018. 03. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 11

한 줄 요약

이 논문은 이미지 생성 및 수정을 위한 다양한 GAN 기법을 비교하며, 훈련 안정성, 조건부 생성, 그리고 인코더를 사용한 이미지 복원을 평가한다. WGAN-GP는 훈련 안정성과 이미지 품질을 향상시키지만, InfoGAN은 분리된 표현 학습을 가능하게 한다. 그러나 디스criminator를 캡슐 네트워크로 교체할 경우 아키텍처적 한계로 성능 저하가 발생한다.

ABSTRACT

Generative adversarial networks (GANs) have demonstrated to be successful at generating realistic real-world images. In this paper we compare various GAN techniques, both supervised and unsupervised. The effects on training stability of different objective functions are compared. We add an encoder to the network, making it possible to encode images to the latent space of the GAN. The generator, discriminator and encoder are parameterized by deep convolutional neural networks. For the discriminator network we experimented with using the novel Capsule Network, a state-of-the-art technique for detecting global features in images. Experiments are performed using a digit and face dataset, with various visualizations illustrating the results. The results show that using the encoder network it is possible to reconstruct images. With the conditional GAN we can alter visual attributes of generated or encoded images. The experiments with the Capsule Network as discriminator result in generated images of a lower quality, compared to a standard convolutional neural network.

연구 동기 및 목표

• 표준 GAN, WGAN-GP, 조건부 GAN, InfoGAN을 포함한 다양한 GAN 변종의 훈련 안정성과 이미지 품질을 평가하고 비교하는 것.
• 인코더 네트워크를 GAN에 통합하여 이미지 복원 및 잠재 공간 인코딩을 위한 가능성과 효과성을 탐구하는 것.
• 표준 합성곱 네트워크와 비교하여 캡슐 네트워크를 GAN의 디스criminator로 사용했을 때의 성능을 평가하는 것.
• 비지도 조건부 GAN(InfoGAN)과 지도 조건부 GAN에서의 분리된 표현 학습을 탐색하는 것.
• MNIST 및 CelebA 데이터셋에서 다양한 목적 함수와 훈련 목표가 GAN 성능에 미치는 영향을 분석하는 것.

제안 방법

• 생성자와 디스criminator에 깊이 있는 합성곱 신경망을 사용하여 표준 GAN과 WGAN-GP를 훈련하였으며, WGAN-GP는 훈련 안정성을 향상시키기 위해 기울기 페널티를 적용하였다.
• 감독 레이블을 사용한 조건부 GAN과 비지도 InfoGAN 변종을 구현하여 고유한 분류 및 연속 잠재 변수를 통해 분리된 표현을 학습하였다.
• 인코더 네트워크를 GAN 프레임워크에 통합하여 이미지에서 잠재 벡터로의 매핑과 복원을 가능하게 하였으며, 변동형 오토인코더와 유사한 방식이다.
• 캡슐 네트워크 아키텍처를 사용하여 표준 CNN을 대체함으로써 디스criminator로 캡슐 네트워크를 평가하여 전역적 이미지 특징을 탐지하는 데 초점을 맞췄다.
• 훈련 및 평가에 MNIST 및 CelebA 데이터셋을 사용하였으며, 이미지 품질, 복원 정확도, 속성 조작 능력을 평가하기 위해 시각화를 실시하였다.
• 대부분의 손실 함수, 예를 들어 적대적 손실과 복원 손실을 적용하였으며, 디스criminator 출력과 복원 목표를 결합하여 탐색하였다.

실험 결과

연구 질문

• RQ1 WGAN-GP는 표준 GAN에 비해 훈련 안정성과 이미지 품질 측면에서 어떻게 비교되는가?
• RQ2 인코더 네트워크는 GAN의 잠재 공간에서 이미지를 효과적으로 복원할 수 있는가? 그리고 다양한 데이터셋 간에 복원 품질은 어떻게 달라지는가?
• RQ3 조건부 GAN과 InfoGAN은 생성된 이미지의 시각적 속성 조작을 어느 정도 분리된 방식으로 가능하게 하는가?
• RQ4 표준 디스criminator를 캡슐 네트워크로 교체하면 이미지 생성 작업에서 GAN 성능이 향상되는가?
• RQ5 WGAN-GP와 InfoGAN에서와 같이 다양한 목적 함수가 GAN의 학습 역학과 표현 품질에 어떤 영향을 미치는가?

주요 결과

• WGAN-GP는 표준 GAN에 비해 훈련 안정성을 크게 향상시키고 모드 붕괴를 감소시켜 더 높은 품질의 생성 이미지를 만들어냈다.
• 인코더 네트워크는 잠재 공간에서 이미지를 성공적으로 복원하였으며, MNIST에서는 거의 완벽한 복원을 달성했고, 더 복잡한 CelebA 데이터셋에선 양호하지만 뿌연 결과를 보였다.
• 조건부 GAN은 레이블이 제공될 경우 정밀한 시각적 속성 조작이 가능했으며, 예를 들어 숫자 클래스나 얼굴 이미지의 머리카락 색상 변경이 가능했다.
• InfoGAN은 분리된 표현 학습을 달성하였으며, 연속 잠재 변수가 숫자의 폭이나 머리카락 색상과 같은 속성에 영향을 주었고, 이는 명시적 감독 없이도 가능했다.
• 디스criminator로 캡슐 네트워크를 사용한 결과, 표준 CNN에 비해 생성 이미지 품질이 떨어졌으며, 이는 네트워크의 浅고 작은 아키텍처로 인해 특징 학습이 제한되었기 때문으로 보인다.
• 본 연구는 목적 함수 설계, 예를 들어 WGAN-GP에서의 기울기 페널티 사용이 GAN 훈련의 안정성과 성능 향상에 결정적인 역할을 한다는 점을 확인하였다.