[논문 리뷰] Tensorizing Generative Adversarial Nets

Xingwei Cao, Qibin Zhao외 1명|arXiv (Cornell University)|2017. 10. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 1인용 수 6

한 줄 요약

이 논문은 다중선형 연산과 터커 분해를 사용하여 완전히 연결된 레이어를 텐서로 표현함으로써 모델 파라미터를 크게 감소시키는 텐서화된 생성적 적대적 네트워크(TGAN)를 제안한다. 다중 모odal 데이터의 구조를 유지하고 효율적인 최적화를 가능하게 함으로써, TGAN은 MNIST에서 표준 GAN과 유사한 샘플 품질을 달성하면서도 최대 35–40×의 파라미터 압축을 달성한다.

ABSTRACT

Generative Adversarial Network (GAN) and its variants exhibit state-of-the-art performance in the class of generative models. To capture higher-dimensional distributions, the common learning procedure requires high computational complexity and a large number of parameters. The problem of employing such massive framework arises when deploying it on a platform with limited computational power such as mobile phones. In this paper, we present a new generative adversarial framework by representing each layer as a tensor structure connected by multilinear operations, aiming to reduce the number of model parameters by a large factor while preserving the generative performance and sample quality. To learn the model, we employ an efficient algorithm which alternatively optimizes both discriminator and generator. Experimental outcomes demonstrate that our model can achieve high compression rate for model parameters up to $35$ times when compared to the original GAN for MNIST dataset.

연구 동기 및 목표

• 모바일 및 엣지 디바이스에의 배포를 제한하는 표준 GAN의 높은 계산 및 파라미터 복잡도 문제를 해결하기 위해.
• 기존 GAN에서 벡터화 과정에서 손실되는 다중 모달 데이터 구조를 유지하기 위해 입력과 레이어를 텐서로 표현함으로써.
• 텐서 대수와 다중선형 연산을 통해 모델 크기를 크게 줄이면서도 생성 성능를 유지하기 위해.
• 파라미터 효율적인 텐서라이제이션을 통해 자원 제약이 있는 플랫폼에서의 효율적 훈련과 추론을 가능하게 하기 위해.
• 텐서라이제이션된 GAN이 더 적은 파라미터로도 표준 GAN과 동일하거나 이를 초월하는 샘플 품질을 달성할 수 있음을 보여주기 위해.

제안 방법

• 완전히 연결된 레이어를 벡터화된 밀집 레이어 대신 다중선형 연산을 사용하여 텐서 구조로 표현한다.
• 가중치 텐서를 파arameterize하기 위해 터커 분해를 적용하여 낮은 랭크 근사에 기반한 파라미터 수를 감소시킨다.
• 전방 및 역방향 전파를 효율적으로 계산하기 위해 n-모드 곱셈과 텐서 대수를 사용한다.
• 생성자와 판별자를 텐서라이제이션된 프레임워크에서 함께 최적화하기 위해 교차 최적화 알고리즘을 적용한다.
• 입력, 히든, 출력 표현을 평탄화된 벡터가 아닌 다차원 텐서로 간주하여 다중 모달 관계를 유지한다.
• 텐서 체인 규칙을 사용하여 기울기를 유도하며, 백프로파게이션을 텐서 연산과 터커 분해에 맞게 적응시킨다.

실험 결과

연구 질문

• RQ1 GAN의 완전히 연결된 레이어를 텐서라이제이션함으로써 샘플 품질이 저하되지 않도록 하면서 모델 파라미터를 줄일 수 있는가?
• RQ2 텐서라이제이션된 레이어에 터커 분해를 사용할 경우 훈련 수렴성과 생성 성능에 어떤 영향을 미치는가?
• RQ3 표준 GAN과 비교했을 때 TGAN은 기준 데이터셋에서 얼마나 높은 수준의 모델 크기 압축을 달성할 수 있는가?
• RQ4 텐서라이제이션은 생성 모델링에서 벡터화된 표현보다 다중 모달 데이터 구조를 더 잘 유지하는가?
• RQ5 제안된 프레임워크는 합성 다중 모달 분포에서 더 빠르게 훈련되고 더 잘 일반화되는가?

주요 결과

• TGAN은 표준 GAN보다 더 많은 파라미터를 가진 모델과 비교해도 MNIST 데이터셋에서 최대 35배의 모델 압축률을 달성한다.
• MNIST에서 TGAN은 429,000개의 파라미터를 가진 더 큰 GAN(GAN 1)과 유사한 품질의 샘플을 생성하지만, 본인은 오직 12,000개의 파라미터만을 사용한다.
• 여섯 개인 원형 분포 클러스터를 가진 합성 데이터 실험에서 TGAN은 표준 GAN보다 진짜 분포에 더 빨리 그리고 정확하게 수렴한다.
• 40×의 압축률 조건에서도 TGAN은 높은 샘플 품질을 유지하며, 극히 적은 파라미터로도 강력한 생성 능력을 보여준다.
• 텐서라이제이션 아키텍처는 다중 모달 합성 데이터에서 더 빠른 학습을 가능하게 하여, 복잡한 분포에 대한 향상된 인덕티브 바이어스를 제공한다.
• 이 방법은 모델 복잡도를 크게 감소시켜, 전체 행렬 곱셈 대신 텐서 차원의 곱의 합으로 파라미터 수가 스케일링됨을 달성한다.