[논문 리뷰] HyperGAN: A Generative Model for Diverse, Performant Neural Networks

Neale Ratzlaff, Fuxin Li|arXiv (Cornell University)|2019. 01. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 14

한 줄 요약

HyperGAN은 레이어별 가중치 생성을 위해 학습 가능한 믹서를 갖춘 GAN 기반 접근 방식을 사용하여 다양한 성능을 갖춘 신경망 가중치 분포를 학습하는 새로운 생성 모델을 소개한다. 이 모델은 미세조정 없이도 고품질이고 다양한 앙상블을 효율적으로 샘플링할 수 있으며, 분포 외 데이터 및 악성 데이터에서 경쟁적인 정확도와 뛰어난 불확실성 추정 성능을 달성한다.

ABSTRACT

Standard neural networks are often overconfident when presented with data outside the training distribution. We introduce HyperGAN, a new generative model for learning a distribution of neural network parameters. HyperGAN does not require restrictive assumptions on priors, and networks sampled from it can be used to quickly create very large and diverse ensembles. HyperGAN employs a novel mixer to project prior samples to a latent space with correlated dimensions, and samples from the latent space are then used to generate weights for each layer of a deep neural network. We show that HyperGAN can learn to generate parameters which label the MNIST and CIFAR-10 datasets with competitive performance to fully supervised learning, while learning a rich distribution of effective parameters. We also show that HyperGAN can also provide better uncertainty estimates than standard ensembles by evaluating on out of distribution data as well as adversarial examples.

연구 동기 및 목표

• 제약적인 사전 분포나 변분 가정 없이도 신경망 가중치의 풍부하고 다양한 분포를 학습하는 것.
• 단일 순방향 전파로 대규모이고 다양한 앙상블을 효율적으로 생성하는 것.
• 앙상블의 다양성을 활용하여 분포 외 데이터 및 악성 예측에 대한 불확실성 추정을 향상시키는 것.
• 표준 앙상블 및 변분 방법의 한계를 극복하기 위해 네트워크 가중치에 대한 더 표현력 있는 사후 분포를 학습하는 것.
• 반복적 훈련이나 미세조정을 요구하지 않고도 다양한 고성능 모델의 생성을 확장하는 것.

제안 방법

• 생성자 네트워크는 다차원 정규 분포 잠재 코드를 입력으로 받아, 각 레이어의 가중치를 위한 상관 관계가 있는 벡터를 생성한다.
• 믹서는 독립적인 노이즈를 구조화된 잠재 벡터로 변환하여 레이어 간의 가중치 일관성을 보장한다.
• 생성자는 목표 작업 손실(예: 분류)에 대한 최대우도 기반으로 훈련되어 정확한 모델을 생성한다.
• 대조적 판별자는 잠재 공간을 정규화하여 모드 붕괴를 방지하고 생성된 네트워크의 다양성을 향상시킨다.
• 성능과 다양성 양측을 동시에 최적화하여, 역전환 흐름이나 고정된 노이즈 모델에 의존하지 않는다.
• 생성자에서의 샘플링은 단일 순방향 전파로 완전하고 훈련 가능한 신경망을 생성하며, 확장 가능한 앙상블 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 제약적인 사전 분포 없이도 생성 모델이 다양한 성능을 갖춘 신경망 가중치 분포를 학습할 수 있는가?
• RQ2 HyperGAN의 믹서 메커니즘은 네트워크 레이어 간 최적화 및 가중치 일관성에 어떻게 기여하는가?
• RQ3 HyperGAN으로 생성된 앙상블은 분포 외 및 악성 입력에서 표준 앙상블보다 불확실성 추정 성능이 뛰어나게 되는가?
• RQ4 역전환 흐름이나 고정된 노이즈 모델의 부재가 가중치 생성의 확장성이나 성능에 악영향을 미치는가?
• RQ5 대조적 정규화가 생성된 네트워크 집단의 다양성 향상과 모드 붕괴 방지에 얼마나 기여하는가?

주요 결과

• HyperGAN는 추가적인 미세조정 없이도 MNIST 및 CIFAR-10에서 경쟁적인 분류 정확도를 달성하는 완전한 다층 컨볼루션 신경망을 생성한다.
• HyperGAN에서 샘플된 100개의 네트워크 앙상블은 단일 모델 및 표준 앙상블보다 테스트 정확도에서 뚜렷한 향상을 보였다.
• L2 노름의 상대 표준편차로 측정한 HyperGAN 생성 모델의 다양성은 표준 훈련 또는 변분 방법에 비해 상당히 높았다.
• HyperGAN 앙상블은 표준 앙상블과 동일한 크기일 때보다 분포 외 샘플 및 악성 예외(예: FGSM, PGD)를 더 효과적으로 탐지했다.
• 판별자를 제거하면 유사한 정확도를 유지하더라도 다양성이 감소하여, 판별자가 분포 확산을 촉진하는 데 기여한다는 점을 확인했다.
• 믹서를 제거하면 다양성이 급격히 감소하고 수렴 속도가 느려져, 레이어 간 효과적인 최적화를 가능하게 하는 믹서의 중요성을 입증했다.