[논문 리뷰] AGAN: Towards Automated Design of Generative Adversarial Networks

Hanchao Wang, Jun Huan|arXiv (Cornell University)|2019. 06. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 39

한 줄 요약

AGAN은 GAN에 특화된 최초의 신경망 아키텍처 검색 방법으로, 강화학습을 사용해 제너레이터와 디스크리미네이터 아키텍처를 자동으로 설계하여 CIFAR-10에서 인간이 설계한 모델과 경쟁적이거나 우수한 성능을 달성하고 STL-10으로의 전이성도 보인다.

ABSTRACT

Recent progress in Generative Adversarial Networks (GANs) has shown promising signs of improving GAN training via architectural change. Despite some early success, at present the design of GAN architectures requires human expertise, laborious trial-and-error testings, and often draws inspiration from its image classification counterpart. In the current paper, we present the first neural architecture search algorithm, automated neural architecture search for deep generative models, or AGAN for abbreviation, that is specifically suited for GAN training. For unsupervised image generation tasks on CIFAR-10, our algorithm finds architecture that outperforms state-of-the-art models under same regularization techniques. For supervised tasks, the automatically searched architectures also achieve highly competitive performance, outperforming best human-invented architectures at resolution $32 imes32$. Moreover, we empirically demonstrate that the modules learned by AGAN are transferable to other image generation tasks such as STL-10.

연구 동기 및 목표

• GAN 아키텍처 설계의 자동화를 촉진하여 인간 전문지식과 시행착오에 대한 의존도를 줄이려는 동기 부여.
• 제너레이터와 디스크리미네이터를 위한 GAN에 특화된 RL 기반 NAS 프레임워크를 개발한다.
• GAN용 업샘플링, 다운샘플링, 노멀 모듈을 포함하는 모듈식 탐색 공간을 탐구한다.
• 동일한 규제 하에서 발견된 AGAN 아키텍처가 인간이 설계한 GAN과 비등하거나 우수하다는 것을 입증한다.
• 학습된 모듈의 STL-10과 같은 다른 데이터셋에 대한 전이 가능성을 조사한다.

제안 방법

• 생성기와 판별기에 대한 GAN 아키텍처를 샘플링하기 위해 컨트롤러 RNN(세 구간의 2층 LSTM)을 사용한다.
• 합성곱, 분리 합성곱, 풀링, 업샘플링/다운샘플링 방식 등 다양한 연산을 포함하는 업샘플링, 다운샘플링 및 노멀 모듈을 포함하는 포괄적 탐색 공간을 정의한다.
• 힌지 로스 GAN 목적을 사용해 아키텍처를 학습하고 보상 신호로 Inception Score(IS)를 사용해 평가한다.
• 정규화된 IS로 형성된 보상에 따라 컨트롤러 매개변수를 업데이트하기 위해 REINFORCE를 적용하여 검색을 유망한 아키텍처로 이끈다.
• 메타-아키텍처 세부 사항을 고정한다(제너레이터는 3개의 업샘플링 모듈; 디스크리미네이터는 컨볼루션, 2개의 다운샘플링 모듈, 2개의 노멀 모듈, 전역 합 풀링 및 선형 계층).
• STL-10에서 학습된 모듈을 테스트하고 입력 크기를 적절히 조정하여 전이 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 동일한 규제 하에서 강화학습 기반 NAS가 인간이 설계한 모델과 비등하거나 우수한 GAN 아키텍처를 발견할 수 있는가?
• RQ2 자동 최적화를 통해 어떤 모듈식 GAN 아키텍처(업샘플링, 다운샘플링, 노멀 모듈)가 효과적으로 나타나는가?
• RQ3 학습된 아키텍처 모듈들이 관련된 이미지 생성 작업 간에 전이 가능한가(예: CIFAR-10에서 STL-10으로)?
• RQ4 Inception Score를 통한 보상 형 shaping이 NAS의 효율성과 탐색 결과에 어떤 영향을 미치는가?
• RQ5 NAS로 발견된 GAN 셀과 기존 GAN 아키텍처 간의 질적 차이는 무엇인가?

주요 결과

• AGAN은 상태의 최첨단 GAN과 경쟁력 있는 성능을 가진 세 가지 새로운 모듈형 아키텍처를 식별한다(AGAN-A, AGAN-B, AGAN-C).
• CIFAR-10 무감독 생성에서 AGAN-C는 동일한 규제 하에서 최첨단 모델을 능가한다.
• 감독 학습 CIFAR-10 생성에서 AGAN-A, AGAN-B, AGAN-C는 Inception Score와 FID 지표가 인간이 설계한 아키텍처들에 비해 경쟁력이 있거나 우수하며, AGAN-B의 IS는 8.82±0.09이고 FID는 23.8이다.
• 학습된 모듈은 STL-10으로 전이 가능하며 적절한 입력 크기 조정으로 강력한 성능을 유지한다(예: AGAN-A 9.23 IS, 52.7 FID; AGAN-C 8.97 IS, 57.4 FID; AGAN-B 7.84 IS, 71.8 FID).
• 컨트롤러의 작동 분포는 모듈 유형(업샘플링, 다운샘플링, 노멀)에 따라 다르며, GAN 설계에서 모듈화된 탐색의 필요성을 뒷받침한다.
• 발견된 셀은 인셉션-ResNet 하이브리드와 유사하며, GAN 최적화 아키텍처가 판별 작업 아키텍처와는 크게 다를 수 있음을 시사한다.