[논문 리뷰] Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks

Yash Upadhyay, Paul Schrater|arXiv (Cornell University)|2018. 06. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 24

한 줄 요약

이 논문은 전통적인 CNN 판별기 대신 캡슐 네트워크 평가자(Critic)를 사용하는 새로운 GAN 아키텍처를 제안하며, 위치 등변성( positional-equivariance)을 활용하여 이미지 내 공간적 관계를 더 잘 포착한다. 캡슐 GAN은 더 적은 학습 샘플과 에포크 수로도 빠른 수렴과 뛰어난 이미지 정밀도를 달성하며, CNN 기반 GAN에 비해 상당히 향상된 커버리지와 다양성을 보여준다.

ABSTRACT

In this paper, we propose Generative Adversarial Network (GAN) architectures that use Capsule Networks for image-synthesis. Based on the principal of positional-equivariance of features, Capsule Network's ability to encode spatial relationships between the features of the image helps it become a more powerful critic in comparison to Convolutional Neural Networks (CNNs) used in current architectures for image synthesis. Our proposed GAN architectures learn the data manifold much faster and therefore, synthesize visually accurate images in significantly lesser number of training samples and training epochs in comparison to GANs and its variants that use CNNs. Apart from analyzing the quantitative results corresponding the images generated by different architectures, we also explore the reasons for the lower coverage and diversity explored by the GAN architectures that use CNN critics.

연구 동기 및 목표

• 캡슐 네트워크를 사용해 공간적 관계를 위치 등변성으로 더 잘 모델링함으로써 GAN의 이미지 합성 성능을 향상시키기 위해 CNN 평가자를 캡슐 네트워크 평가자로 대체한다.
• 캡슐 네트워크 기반의 더 강력한 평가자가 생성자 학습을 가속화하고 샘플 품질을 향상시킬 수 있는지 조사한다.
• CNN 기반 평가자가 생성 이미지 다양성 다각도에서 완전한 커버리지에 실패하는 이유를 분석한다.
• Split-Auxiliary 평가자 아키텍처를 통해 캡슐 네트워크를 조건부 이미지 합성에 효과적으로 적용할 수 있는지 탐색한다.
• 다양한 데이터셋과 학습 제약 조건에서 캡슐 GAN의 일반화 능력과 강건성을 평가한다.

제안 방법

• WGAN의 표준 CNN 판별기를 캡슐 네트워크 평가자로 대체하여 동적 라우팅과 공간적 관계 모델링의 이점을 활용한다.
• 안정적인 학습과 평가자의 1-Lipschitz 연속성을 보장하기 위해 와서슈타인 GAN에 기울기 페널티(WGAN-GP) 손실을 사용한다.
• 조건부 이미지 생성을 지원하기 위해 Split-Auxiliary 평가자 아키텍처를 구현하며, 보조 헤드는 클래스 레이블을 처리하고 주 헤드는 캡슐 네트워크 특징을 사용한다.
• 주성분 분석(PCA)을 사용해 캡슐 표현을 2차원 공간으로 투영하여 특징 커버리지와 다각도 탐색을 시각화한다.
• 캡슐 레이어 간에 동적 라우팅을 적용하여 캡슐이 관련된 부모 캡슐에 주목하도록 하며, 공간 계층과 인스턴시에이션 파라미터를 인코딩한다.
• 캡슐 네트워크 평가자로부터 유도된 기울기를 사용해 생성자를 학습시키며, 이 기울기는 CNN보다 더 정보가 풍부하고 전역 인식 능력을 갖춘다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크가 GAN의 이미지 합성에서 CNN보다 더 효과적인 평가자로 기능할 수 있는가?
• RQ2 캡슐 네트워크 평가자를 사용할 경우 생성 이미지의 수렴 속도가 빨라지고 시각적 정밀도가 향상되는가?
• RQ3 왜 CNN 기반 평가자가 생성 이미지 다양성 다각도에서 완전한 커버리지에 실패하는가?
• RQ4 캡슐 네트워크의 공간적 관계 모델링이 생성자가 데이터 다각도를 탐색하는 데 어떤 영향을 미치는가?
• RQ5 캡슐 네트워크가 GAN 아키텍처에서 조건부 이미지 합성에 효과적으로 적용될 수 있는가?

주요 결과

• 캡슐 GAN은 CNN 기반 GAN에 비해 훨씬 적은 학습 에포크 수와 샘플 수로도 빠른 수렴을 보이며, 정확한 시각적 합성을 달성했다.
• 캡슐 GAN은 투영된 캡슐 공간에서 IWGAN 대비 더 큰 겹침 영역을 보이며 학습 데이터 다각도의 더 넓은 커버리지를 보여주었다.
• 캡슐 네트워크 평가자를 사용한 생성자는 캡슐 표현 공간에서 제2 주성분을 따라 더 넓은 분포를 보이며 더 높은 다양성을 보였다.
• CNN 기반 평가자(IWGAN)는 캡슐 네트워크가 드러낸 핵심 특징를 포착하지 못해 다각도 이해가 제한되고 커버리지가 열악했다.
• 캡슐 GAN의 뛰어난 성능은 동적 라우팅을 통한 공간적 관계 모델링 덕분이며, 이는 생성자에게 더 정보가 풍부한 기울기를 제공한다.
• 더 적은 학습 샘플로도 캡슐 GAN은 시각적 품질과 다각도 커버리지 측면에서 CNN 기반 기준 모델을 능가했으며, 이는 데이터 효율성의 향상을 시사한다.