[논문 리뷰] AlphaGAN: Fully Differentiable Architecture Search for Generative Adversarial Networks

Yuesong Tian, Shen Li외 4명|arXiv (Cornell University)|2020. 06. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 64인용 수 9

한 줄 요약

AlphaGAN은 생성적 적대 신경망(GANs)를 위한 완전히 미분 가능한 신경망 아키텍처 탐색 프레임워크를 제안한다. 이는 아키텍처 탐색을 이중 최소화 최대화 최적화 문제로 공식화하여 생성기 아키텍처를 순수 내쉬 균형으로 최적화한다. 단지 3 GPU 시간 동안에만 1.94의 FID 점수를 달성하여 CelebA에서, 2.86으로 LSUN-church에서, 2.75로 FFHQ에서 최신 기준 성능을 달성하며, GANs의 효율적이고 효과적인 아키텍처 탐색을 입증한다.

ABSTRACT

Generative Adversarial Networks (GANs) are formulated as minimax game problems, whereby generators attempt to approach real data distributions by virtue of adversarial learning against discriminators. The intrinsic problem complexity poses the challenge to enhance the performance of generative networks. In this work, we aim to boost model learning from the perspective of network architectures, by incorporating recent progress on automated architecture search into GANs. To this end, we propose a fully differentiable search framework for generative adversarial networks, dubbed alphaGAN. The searching process is formalized as solving a bi-level minimax optimization problem, in which the outer-level objective aims for seeking a suitable network architecture towards pure Nash Equilibrium conditioned on the generator and the discriminator network parameters optimized with a traditional GAN loss in the inner level. The entire optimization performs a first-order method by alternately minimizing the two-level objective in a fully differentiable manner, enabling architecture search to be completed in an enormous search space. Extensive experiments on CIFAR-10 and STL-10 datasets show that our algorithm can obtain high-performing architectures only with 3-GPU hours on a single GPU in the search space comprised of approximate 2 ? 1011 possible configurations. We also provide a comprehensive analysis on the behavior of the searching process and the properties of searched architectures, which would benefit further research on architectures for generative models. Pretrained models and codes are available at https://github.com/yuesongtian/AlphaGAN.

연구 동기 및 목표

• 생성적 적대 신경망(GANs)에서 수작업 및 전문가 중심의 아키텍처 설계 도전 과제를 해결하기 위해, 비볼록이고 비볼록한 최소화 최대화 최적화 과정으로 인해 시간이 오래 걸리고 비틀림이 있는 문제를 해결한다.
• 기존의 GANs를 위한 아키텍처 탐색(NAS) 방법의 한계를 극복하기 위해, FID나 IS와 같은 비미분 가능한 메트릭을 기반으로 하여, 종래의 방법들이 종단 간 최적화에 비효율적이고 불안정하다는 점을 해결한다.
• 일반적이고 작업에 종속되지 않은 프레임워크를 개발하여, GAN 학습 과정에서 순수 내쉬 균형을 직접 최적화함으로써 높은 성능의 생성기 아키텍처를 탐색할 수 있도록 한다.
• 표준 GAN과 최신 기술인 StyleGAN2를 포함한 다양한 모델에서 프레임워크의 효과성을 검증하여, 여러 벤치마크 데이터셋에서 뛰어난 성능을 달성한다.

제안 방법

• 아키텍처 탐색 과정을 이중 최소화 최대화 최적화 문제로 공식화하며, 외부 레벨은 순수 내쉬 균형으로 향해 생성기 아키텍처 파라미터를 최적화하고, 내부 레벨은 현재 아키텍처 하에서 생성기 및 판별기 가중치를 최적화한다.
• 이중성 갭 기반의 미분 가능한 평가 메트릭을 도입하여 내쉬 균형으로 향하는 탐색을 이끌며, 아키텍처 탐색 과정 전반에 걸쳐 종단 간 역전파를 가능하게 한다.
• 일阶 확률적 경사 하강법을 사용하여 외부 및 내부 목표를 번갈아 최소화함으로써, 약 2×10^11개의 구성이 가능한 광범위한 탐색 공간에서 완전한 미분 가능성과 효율적인 최적화를 보장한다.
• 표준 GAN과 StyleGAN2에 모두 프레임워크를 적용하며, 탐색 공간에는 컨볼루션 연산(예: 3x3, 5x5), 업샘플링 방법(예: nearest_conv, bilinear_conv), 그리고 동적 스타일 인젝션 모듈이 포함된다.
• 강화 학습이나 강화 학습 기반 탐색을 피하는 기반 기반의 미분 가능한 탐색 전략을 적용하여 안정적이고 확장 가능한 아키텍처 탐색을 가능하게 한다.
• 생성기와 판별기 양쪽을 함께 탐색할 경우 복잡도가 증가하고 최적의 결과를 얻기 어려우므로, 생성기 아키텍처만 탐색하는 전략을 취함으로써 성능 향상을 추구한다.

실험 결과

연구 질문

• RQ1 순수 내쉬 균형을 직접 최적화함으로써 비미분 가능한 메트릭에 의존하지 않는 완전히 미분 가능한 GAN 아키텍처 탐색 프레임워크를 설계할 수 있는가?
• RQ2 제안된 이중 최소화 최대화 최적화 프레임워크는 제한된 탐색 시간 내에 높은 성능의 GAN 아키텍처를 얼마나 효과적으로 탐색할 수 있는가?
• RQ3 이 프레임워크는 표준 GAN과 최신 모델인 StyleGAN2 모두에서 성능 향상을 이끌어내는가, 특히 FID 점수 측면에서 어떻게 성능을 높이는가?
• RQ4 다양한 데이터셋에서 탐색 과정에서 도출된 아키텍처 패턴은 무엇이며, 성능과 어떻게 연관되어 있는가?
• RQ5 이 프레임워크는 경량이지만 높은 성능을 내는 아키텍처를 탐색할 수 있는가, 아니면 성능 향상이 파rameter 수 증가의 대가로 이루어지는가?

주요 결과

• AlphaGAN은 CelebA에서 1.94, LSUN-church에서 2.86, FFHQ에서 2.75의 최신 기준 FID 점수를 기록하며, 기준인 StyleGAN2 대비 3%에서 26%까지의 상대적 향상을 보였다.
• 약 2×10^11개의 구성이 가능한 탐색 공간에도 불구하고, 단지 3 GPU 시간 내에 높은 성능의 아키텍처를 탐색하여 높은 효율성을 입증했다.
• FFHQ에서는 큰 커널 크기의 컨볼루션(예: 5x5)과 nearest_conv 및 bilinear_conv와 같은 업샘플링 방법이 일관되게 선호되며, 고해상도 이미지 생성에 중요한 역할을 한다는 점을 시사한다.
• FFHQ에서의 'micro' 및 'micro + dynamic {W_i}' 탐색 철학은 원본 StyleGAN2보다 뛰어난 성능을 달성하여, 생성기의 아키텍처 수정이 품질 향상에 상당한 기여를 할 수 있음을 보여준다.
• 이중성 갭이 감소함에 따라(내쉬 균형으로의 이동을 나타냄) 탐색된 생성기 아키텍처의 품질이 향상됨을 관찰하여, 프레임워크 설계의 타당성을 검증하였다.
• 성공에도 불구하고, 이 프레임워크는 StyleGAN2에서 경량 생성기의 성능 향상을 효과적으로 도출하지 못하여, 성능 향상과 파라미터 효율성 사이의 상충 관계가 여전히 해결되지 않은 과제임을 시사한다.