[논문 리뷰] Bayesian Conditional Generative Adverserial Networks

M. Ehsan Abbasnejad, Qinfeng Shi외 3명|arXiv (Cornell University)|2017. 06. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 16인용 수 6

한 줄 요약

이 논문은 베이지안 조건부 생성 대립 신경망(BC-GANs)을 제안한다. 이는 결정론적 생성기 대신 드롭아웃을 통한 가중치 불확실성을 활용해 베이지안 추론을 모델링하는 스토케스틱 함수로 대체하는 새로운 GAN 프레임워크이다. 몬테카를로 샘플링을 통해 생성기 및 판별기의 파라미터를 통합함으로써 BC-GANs는 훈련 안정성을 향상시키고 과적합을 감소시키며, 클래스당 10개의 레이블만을 사용하는 CIFAR-10에서 준지도 학습에서 최고 성능을 달성한다.

ABSTRACT

Traditional GANs use a deterministic generator function (typically a neural network) to transform a random noise input $z$ to a sample $\mathbf{x}$ that the discriminator seeks to distinguish. We propose a new GAN called Bayesian Conditional Generative Adversarial Networks (BC-GANs) that use a random generator function to transform a deterministic input $y'$ to a sample $\mathbf{x}$. Our BC-GANs extend traditional GANs to a Bayesian framework, and naturally handle unsupervised learning, supervised learning, and semi-supervised learning problems. Experiments show that the proposed BC-GANs outperforms the state-of-the-arts.

연구 동기 및 목표

• 기존 GAN의 불안정성과 과적합 문제를 해결하기 위해 생성기 및 판별기에 대해 베이지안 프레임워크를 도입한다.
• 모델 불확실성을 활용해 단일 조건부 GAN 아키텍처 안에서 무 supervision, supervision, 그리고 준지도 학습을 통합한다.
• 입력 노이즈를 결정론적 조건부 입력으로 대체하고, 파라미터 불확실성을 생성 다양성의 근원으로 삼는다.
• 몬테카를로 샘플링을 통한 모델 파라미터 통합을 통해 일반화 능력과 강건성을 향상시킨다.
• GAN 목표함수에 최대 평균 차이(MMD)를 정규화 요소로 통합하여 성능을 향상시킨다.

제안 방법

• GAN의 결정론적 생성기를 랜덤 가중치 $ \boldsymbol{\omega} $로 파arameterized된 스토케스틱 함수 $ f_G $로 대체한다. 이 함수는 결정론적 입력 $ y' $를 생성 샘플 $ \mathbf{x} $로 매핑한다.
• 생성기 및 판별기를 각각 사전 $ p(\boldsymbol{\omega}) $ 및 $ p(\boldsymbol{\theta}) $를 가진 랜덤 함수로 모델링하고, 이러한 파라미터에 대한 몬테카를로 샘플링을 통해 베이지안 추론을 수행한다.
• 생성기 및 판별기 네트워크의 불확실성을 유도하기 위해 베르누이 및 가우시안 드롭아웃을 약근 Bayesian 추론 방법으로 사용한다.
• 생성기 및 판별기 함수를 그들의 파라미터에 대해 근사적으로 통합함으로써 과적합을 감소시키는 베이지안 목표함수를 도출한다.
• 실제 및 생성 샘플 간의 분포 일치를 향상시키기 위해 MMD를 GAN 손실에 정규화 요소로 통합한다.
• 불확실성이 생성기의 함수 공간에서 샘플 다양성을 이끄는 방식으로, 최소화-최대화 프레임워크에서 교차 최적화를 통해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 입력 노이즈를 결정론적 조건부 입력으로 대체하고 생성기의 불확실성을 모델링하면 GAN의 안정성과 성능이 향상되는가?
• RQ2 생성기 및 판별기 파라미터에 대한 베이지안 통합은 GAN의 일반화 및 과적합에 어떤 영향을 미치는가?
• RQ3 BC-GANs는 단일 조건부 GAN 아키텍처 내에서 무 supervision, supervision, 그리고 준지도 학습을 통합할 수 있는가?
• RQ4 베이지안 추론과 함께 MMD를 정규화 요소로 사용하면 샘플 품질 및 분포 일치도가 추가로 향상되는가?
• RQ5 클래스당 10개의 레이블만을 사용하는 저자료 환경에서 BC-GANs의 성능은 최고 수준의 기존 방법과 비교해 어떻게 되는가?

주요 결과

• 모든 50,000개의 훈련 레이블을 사용할 때 BC-GANs는 CIFAR-10에서 $ 7.9 \pm 0.3\% $의 테스트 오차를 기록하며, 이는 이전 최고 성능 방법을 초월한다.
• 클래스당 10개의 레이블만을 사용할 때 BC-GANs는 MAP-MC 샘플링을 통해 $ 20.9 \pm 1.05\% $의 테스트 오차를 기록하며, 강력한 저샷 일반화 능력을 보여준다.
• 랭지비안 역학 변형은 1,000개의 레이블을 사용할 때 $ 25.8 \pm 1.45\% $의 오차를 기록하며, 높은 성능을 보이지만 일부 클래스에서 모드 붕괴 가능성도 나타낸다.
• 시각적 샘플들은 일관된 의미를 가진 다양하고 클래스 조건부 생성 결과를 보이며, 이는 효과적인 분리와 다양성의 확보를 의미한다.
• 베이지안 프레임워크는 시간이 지남에 따라 분산을 감소시키며, 훈련이 진행됨에 따라 판별기가 더욱 확신하고 안정해지는 경향을 보인다.
• MMD를 GAN 목표함수에 통합함으로써 표준 GAN에 비해 분포 일치도 및 샘플 품질이 향상됨을 확인할 수 있었다.