[논문 리뷰] PolyGAN: High-Order Polynomial Generators

Grigorios G. Chrysos, Stylianos Moschoglou외 2명|arXiv (Cornell University)|2019. 08. 19.

Tensor decomposition and applications참고 문헌 34인용 수 10

한 줄 요약

PolyGAN은 고차 다항 함수를 사용하는 새로운 GAN 생성자로, 활성화 함수 없이도 데이터 분포를 보편적으로 근사할 수 있도록 고차 텐서 분해를 통해 매개변수화한다. 이 방법은 계층적 선형 네트워크를 통해 고차 상호작용을 효율적으로 모델링함으로써 CIFAR-10 및 ImageNet에서 최신 기준(FID 및 Inception Score)을 달성한다.

ABSTRACT

Generative Adversarial Networks (GANs) have become the gold standard when it comes to learning generative models for high-dimensional distributions. Since their advent, numerous variations of GANs have been introduced in the literature, primarily focusing on utilization of novel loss functions, optimization/regularization strategies and network architectures. In this paper, we turn our attention to the generator and investigate the use of high-order polynomials as an alternative class of universal function approximators. Concretely, we propose PolyGAN, where we model the data generator by means of a high-order polynomial whose unknown parameters are naturally represented by high-order tensors. We introduce two tensor decompositions that significantly reduce the number of parameters and show how they can be efficiently implemented by hierarchical neural networks that only employ linear/convolutional blocks. We exhibit for the first time that by using our approach a GAN generator can approximate the data distribution without using any activation functions. Thorough experimental evaluation on both synthetic and real data (images and 3D point clouds) demonstrates the merits of PolyGAN against the state of the art.

연구 동기 및 목표

• 비선형 활성화 함수가 GAN 생성자에 미치는 이론적·실용적 과제를 해결하기 위해 다항 함수 근사기 접근을 탐색한다.
• 공유된 요소를 가진 결합된 텐서 분해를 통해 고차 다항 생성자에서 발생하는 매개변수 폭발 문제를 줄인다.
• 선형 및 컨volutional 레이어만을 사용하는 GAN 생성자 아키텍처를 설계하여 해석 가능하고 활성화 함수가 없는 생성을 가능하게 한다.
• 다항 기반 생성자가 비선형성을 가진 표준 GAN과 동일하거나 이를 초월하는 성능을 실세계 데이터에서 달성할 수 있음을 입증한다.
• 고차 다항식, 텐서 분해, 딥 네트워크 설계 간의 이론적 및 아키텍처적 연결 고리를 확립한다.

제안 방법

• 잠재 공간 내의 고차 다변수 다항식으로 생성자를 모델링하며, 매개변수는 고차 텐서로 표현한다.
• 두 가지 결합된 텐서 분해 방식인 결합된 CP 및 결합된 네스티드 CP를 도입하여 다항식 차수 간에 요소를 공유함으로써 매개변수 수를 감소시킨다.
• 분해된 다항식 생성자를 선형 및 컨volutional 레이어로만 구성된 계층적 신경망을 사용해 구현한다.
• 주 생성 경로에 비선형 활성화 함수 없이, 적대적 손실을 사용해 엔드 투 엔드로 생성자를 훈련시킨다.
• 최종 출력 레이어에서만 단일 tanh 활성화 함수를 사용하여 정규화를 수행하며, 주 아키텍처의 선형성을 유지한다.
• 연속적인 데이터 분포의 다항식 근사를 이론적으로 정당화하기 위해 Stone–Weierstrass 정리를 활용한다.

실험 결과

연구 질문

• RQ1 활성화 함수 없이 고차 다항 생성자가 비선형성을 가진 표준 GAN 생성자만큼 복잡한 데이터 분포를 효과적으로 근사할 수 있는가?
• RQ2 표현력을 유지하면서도 고차 다항 생성자에서 발생하는 매개변수 폭발 문제를 어떻게 완화할 수 있는가?
• RQ3 다양한 차수 간의 다항 상호작용을 효율적이고 계층적으로 모델링하기 위해 어떤 텐서 분해 전략이 가능한가?
• RQ4 활성화 함수가 없는 선형 레이어만을 사용하는 아키텍처가 이미지 및 3D 포인트 클라우드 생성에서 최신 기준 성능을 달성할 수 있는가?
• RQ5 제안된 두 가지 결합된 텐서 분해 방식(Coupled CP 및 Coupled Nested CP)이 합성 및 실세계 데이터에서 모델링 능력과 일반화 성능 측면에서 어떻게 비교되는가?

주요 결과

• CIFAR-10에서 PolyGAN은 Inception Score 8.66 ± 0.14와 FID 13.52 ± 0.60을 기록하여 원본 SNGAN(IS: 8.30 ± 0.11, FID: 14.70 ± 0.97)을 초월한다.
• ImageNet에서 PolyGAN은 IS 14.60 ± 0.15와 FID 84.37 ± 6.37을 달성하여 원본 SAGAN(IS: 13.81 ± 0.21, FID: 138.20 ± 8.71)을 뛰어넘는다.
• 합성 다각형 '스위스롤'과 '아스트로이드'에서, 결합된 네스티드 CP 분해가 결합된 CP보다 더 정확한 샘플을 생성하며 노이즈가 많은 외곽선을 피한다.
• 삼각함수 2차원 신호에서, 결합된 CP 분해는 진짜 분포 외부에 점을 생성하지 않고 데이터 다양체를 정확히 포착한다.
• CIFAR-10에서는 약 3%, ImageNet에서는 약 0.6%만 매개변수 수가 증가하여 성능 향상에도 불구하고 원본 모델 대비 극히 미미하게 증가한다.
• 이 방법은 선형 레이어만을 사용하여 고품질의 이미지 및 3D 포인트 클라우드를 성공적으로 생성하였으며, 구조화된 다항식 매개변수화를 사용할 경우 활성화 함수가 복잡한 생성에 필수적이지 않음을 입증한다.