[논문 리뷰] Generating Images Part by Part with Composite Generative Adversarial Networks

Kwak, Hanock, Byoung‐Tak Zhang|arXiv (Cornell University)|2016. 07. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 33

한 줄 요약

이 논문은 복잡한 이미지를 부분별로 생성하는 다수의 독립적인 생성기 각각이 의미적 구성요소(예: 배경, 얼굴, 머리카락)를 담당하며 알파 블렌딩을 통해 통합하는 새로운 비지도 이미지 생성 프레임워크인 복합 생성적 적대적 네트워크(CGAN)를 제안한다. 이 모델은 표준 GAN과 유사한 이미지 품질을 달성하면서도 레이블 없이 분리된 계층적 생성이 가능하며, SSIM 점수와 VAE 통합을 통한 잠재공간 시각화를 통해 검증된다.

ABSTRACT

Image generation remains a fundamental problem in artificial intelligence in general and deep learning in specific. The generative adversarial network (GAN) was successful in generating high quality samples of natural images. We propose a model called composite generative adversarial network, that reveals the complex structure of images with multiple generators in which each generator generates some part of the image. Those parts are combined by alpha blending process to create a new single image. It can generate, for example, background and face sequentially with two generators, after training on face dataset. Training was done in an unsupervised way without any labels about what each generator should generate. We found possibilities of learning the structure by using this generative model empirically.

연구 동기 및 목표

• 비지도 학습을 통해 복잡하고 구조적인 이미지를 분리된 변동 요인으로 생성하는 문제에 대응하기 위해.
• 의미적 부분(예: 배경, 얼굴, 머리카락)을 순차적으로 생성함으로써 계층적으로 이미지를 구성하는 생성 모델을 개발하기 위해.
• 클래스 레이블 없이도 비지도 이미지 생성에서 잠재공간의 분리된 구조를 시각화하기 위해.
• 변분 오토에인코더(VAE)와 알파 손실 정규화를 통합하여 이미지 품질 향상과 분리도 향상을 위해.

제안 방법

• CGAN은 잠재 벡터 $ z_1, z_2, ..., z_n $ 의 순차적 시퀀스를 처리하기 위해 순환 네트워크를 사용하며, 각 벡터는 별도의 생성기에 독립적으로 입력되어 RGBA 이미지 $ C_1, C_2, ..., C_n $ 를 생성한다.
• 각 생성기는 알파 채널을 포함한 부분 이미지를 생성하며, 이전 콘텐츠를 유지하면서 새로운 구성요소를 오버레이하기 위해 알파 블렌딩을 통해 순차적으로 통합된다.
• 최종 출력 $ O^{(n)} $ 는 $ C_1 $ 에서 $ C_n $ 까지의 블렌딩을 통해 형성되며, 판별기는 진짜 이미지와 복합 출력 사이를 구분하도록 훈련된다.
• CGAN+VAE는 변분 오토에인코더를 통합하여 이미지에서 직접 잠재 코드를 학습함으로써, 분리된 잠재 하위 다양체의 시각화를 가능하게 한다.
• 알파 손실은 블러를 줄이고 특히 다중 생성기 환경에서 중간 생성 부분의 분리도를 향상시키기 위해 적용된다.
• 이미지 품질 평가에는 SSIM 가 사용되며, 생성 샘플과 진짜 테스트 이미지 간의 최대 SSIM 이 평가 지표로 사용된다.

실험 결과

연구 질문

• RQ1 의도적인 감독 없이 의미적 부분을 순차적으로 생성함으로써 현실적이며 복잡한 이미지를 생성할 수 있는가?
• RQ2 순차적 프레임워크 내에서 다수의 잠재 변수가 이미지 생성에서 분리된 표현 학습에 어떻게 기여하는가?
• RQ3 CGAN에 VAE를 통합함으로써 클래스 레이블 없이도 잠재공간 내 의미 있는 하위 다양체를 드러낼 수 있는가?
• RQ4 알파 블렌딩과 알파 손실이 중간 이미지 부분의 품질과 분리도에 얼마나 기여하는가?
• RQ5 CGAN의 성능은 시각적 품질과 구조적 유사도 측면에서 표준 GAN과 비교해 어떻게 되는가?

주요 결과

• CGAN는 CelebA (n=2) 에서 SSIM 점수 0.443 ± 0.075, CelebA (n=3) 에서 0.443 ± 0.077 를 기록하며, 표준 GAN(0.449 ± 0.077) 과 유사한 고도의 시각적 품질을 확보하였다.
• CGAN+A 에서 알파 손실을 추가함으로써 블러가 감소하고 중간 부분의 분리도가 향상되었으며, 특히 CelebA (n=3) 의 세 번째 생성기에서 두드러졌다.
• CGAN+VAE 는 잠재공간 내에서 분리된 하위 다양체를 성공적으로 시각화하였으며, $ z_1 $ 이 전체 구조를 제어하고 $ z_2, z_3, ... $ 가 조건부로 세부 사항을 수정하는 것으로 나타났다.
• Pororo 만화 데이터셋에서, CGAN 은 제한된 훈련 데이터 조건에서도 두 개 또는 세 개의 생성기를 사용하여 명확한 캐릭터와 배경을 가진 이미지를 성공적으로 생성하였다.
• 102 Flowers 데이터셋에서, 두 개의 생성기를 사용한 CGAN 은 SSIM 0.290 ± 0.069 를 기록하며 세밀한 이미지 생성 작업에서의 효과성을 보였다.
• 이 모델은 암묵적인 구성 요소 분해를 통한 반복적이고 부분 기반의 합성 방식을 통해 비지도 계층적 이미지 생성이 가능하다는 것을 입증하였다.