[논문 리뷰] AdversarialNAS: Adversarial Neural Architecture Search for GANs

Chen Gao, Yunpeng Chen외 3명|arXiv (Cornell University)|2019. 12. 04.

Advanced Neural Network Applications참고 문헌 53인용 수 13

한 줄 요약

AdversarialNAS는 GAN에 대한 미분 가능하고 기울기 기반의 신경망 아키텍처 탐색 방법으로, FID나 IS와 같은 비용이 많이 드는 평가 지표가 필요 없이 생성기와 판별기 아키텍처를 동시에 최적화하는 적대적 탐색 기반 메커니즘을 통해 작동한다. 큰 탐색 공간($10^{38}$)에서 1개의 GPU 일일 탐색으로 CIFAR-10에서 FID 10.87, Inception Score 8.74의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Neural Architecture Search (NAS) that aims to automate the procedure of architecture design has achieved promising results in many computer vision fields. In this paper, we propose an AdversarialNAS method specially tailored for Generative Adversarial Networks (GANs) to search for a superior generative model on the task of unconditional image generation. The AdversarialNAS is the first method that can search the architectures of generator and discriminator simultaneously in a differentiable manner. During searching, the designed adversarial search algorithm does not need to comput any extra metric to evaluate the performance of the searched architecture, and the search paradigm considers the relevance between the two network architectures and improves their mutual balance. Therefore, AdversarialNAS is very efficient and only takes 1 GPU day to search for a superior generative model in the proposed large search space ($10^{38}$). Experiments demonstrate the effectiveness and superiority of our method. The discovered generative model sets a new state-of-the-art FID score of $10.87$ and highly competitive Inception Score of $8.74$ on CIFAR-10. Its transferability is also proven by setting new state-of-the-art FID score of $26.98$ and Inception score of $9.63$ on STL-10. Code is at: \url{https://github.com/chengaopro/AdversarialNAS}.

연구 동기 및 목표

• 기존 GAN의 NAS 방법에서 효율성 부족과 아키텍처의 불균형 문제를 해결하기 위해, FID나 IS와 같은 고비용 평가 지표를 보상으로 사용하는 것의 문제를 해결한다.
• FID나 IS 계산에 드는 비용을 줄이기 위해 강화학습을 사용하지 않고, 판별기 자체를 연속적인 감독 신호로 활용한다.
• 생성기와 판별기의 상호 균형을 향상시키기 위해, 적대적 방식으로 두 아키텍처를 동적으로 함께 탐색한다.
• 무작위 이미지 생성을 위한 효율적이고 확장 가능하며 이식 가능한 아키텍처 탐색을 가능하게 한다.

제안 방법

• 생성기와 판별기 아키텍처를 위한 큰 연속적인 탐색 공간($10^{38}$)을 설계하여, 연속 변수로 매개변수화함으로써 미분 가능한 탐색을 가능하게 한다.
• 생성기 아키텍처 파라미터를 확률적 경사 하강법을 통해 판별기의 진짜/가짜 손실을 기반으로 하는 기울기 신호로 업데이트한다.
• 생성기 손실을 활용하여 판별기 아키텍처를 동시에 업데이트함으로써, 적대적 피드백을 통한 상호 개선을 가능하게 한다.
• 탐색 중 생성기와 판별기 아키텍처를 경쟁적인 적대적 루프 방식으로 번갈아가며 업데이트하는 교대 탐색 전략을 구현한다.
• 탐색 과정을 GAN 학습 파이프라인에 직접 통합하여 별도의 학습 및 평가 사이클을 피한다.
• 외부 지표인 FID나 IS가 필요 없도록, 판별기 내부 기울기를 성능 평가의 대체 신호로 활용한다.

실험 결과

연구 질문

• RQ1 FID나 IS 계산에 드는 비용을 줄이기 위해, GAN에 대해 고비용 지표 계산 없이도 미분 가능하고 기울기 기반의 NAS 방법을 설계할 수 있는가?
• RQ2 생성기와 판별기 아키텍처를 적대적 방식으로 함께 탐색할 경우, 고정된 판별기 접근 방식과 비교해 성능과 안정성에서 어떤 개선을 이룰 수 있는가?
• RQ3 발견된 아키텍처가 CIFAR-10에서 STL-10로의 데이터셋 간 이식성에 얼마나 뛰어난가?
• RQ4 특히 판별기가 고정된 경우에 모델 용량을 늘릴 때 성능이 얼마나 저하되는가에 비해, 검색된 아키텍처는 얼마나 견고한가?
• RQ5 적대적 탐색 메커니즘이 수작업 또는 강화학습 기반 NAS에 비해 더 나은 아키텍처 균형과 뛰어난 샘플 품질을 이끌어낼 수 있는가?

주요 결과

• AdversarialNAS는 CIFAR-10에서 기존 수작업 및 자동 탐색 방법을 모두 능가하는 최신 기술 수준의 FID 점수 10.87과 Inception Score 8.74를 달성한다.
• STL-10에서 새로운 SOTA FID 26.98과 Inception Score 9.63을 기록하여 뛰어난 이식성과 성능을 입증한다.
• 탐색 과정은 매우 효율적이며, $10^{38}$ 크기의 탐색 공간에서 최상의 아키텍처를 발견하는 데 1개의 GPU 일일 탐색만으로도 충분하다.
• 발견된 생성기는 1MB에서 25MB까지 광범위한 모델 크기 범위에서 안정적인 성능을 유지하며, SNGAN과 AutoGAN에 비해 뛰어난 확장성과 견고성을 보인다.
• 판별기가 고정된 경우, 생성기의 크기가 커질수록 성능이 크게 저하되지만, AdversarialNAS는 일관된 성능을 유지함으로써 더 나은 아키텍처 균형을 보여준다.
• 절단 실험 결과, 적대적 동시 탐색 메커니즘이 고정된 판별기 또는 단일 아키텍처 탐색 전략에 비해 성능 향상에 크게 기여하는 것으로 확인된다.