[논문 리뷰] Training Generative Adversarial Networks with Binary Neurons by End-to-end Backpropagation

Hao‐Wen Dong, Yi‐Hsuan Yang|arXiv (Cornell University)|2018. 10. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 6인용 수 8

한 줄 요약

이 논문은 생성적 적대적 네트워크(BinaryGAN)를 제안하며, 생성기의 출력층에서 이진 뉴런을 사용하여 직접적으로 이진값을 출력하는 모델이다. 시그모이드 조정을 거친 직선 통과 추정기(gradient estimators)를 활용함으로써, 백프로파게이션을 끝내는 데 성공하였으며, 이는 이산 활성화를 가진 GAN이 성능을 유지하면서도 이진화된 MNIST 숫자 이미지를 학습시킬 수 있음을 보여준다.

ABSTRACT

We propose the BinaryGAN, a novel generative adversarial network (GAN) that uses binary neurons at the output layer of the generator. We employ the sigmoid-adjusted straight-through estimators to estimate the gradients for the binary neurons and train the whole network by end-to-end backpropogation. The proposed model is able to directly generate binary-valued predictions at test time. We implement such a model to generate binarized MNIST digits and experimentally compare the performance for different types of binary neurons, GAN objectives and network architectures. Although the results are still preliminary, we show that it is possible to train a GAN that has binary neurons and that the use of gradient estimators can be a promising direction for modeling discrete distributions with GANs. For reproducibility, the source code is available at https://github.com/salu133445/binarygan .

연구 동기 및 목표

• 생성기에서 이진 뉴런을 사용하는 GAN의 엔드 투 엔드 훈련을 가능하게 하여 후처리 단계를 피하는 것.
• 기울기 추정기가 GAN 내 이산 분포를 효과적으로 최적화할 수 있는지 조사하는 것.
• 다양한 이진 뉴런 유형(결정적 대비 확률적), GAN 목표함수(GAN, WGAN, WGAN-GP), 아키텍처(MLP 대비 CNN)를 비교하여 이산 생성에 대한 영향을 분석하는 것.
• 연속적 리 릴랙스레이션 또는 이중 단계 훈련 없이도 직접적으로 이진화된 데이터를 GAN에서 생성하는 것이 가능한지 평가하는 것.

제안 방법

• 시험 시점에 이산적인 이진값 예측을 생성하기 위해 생성기의 출력층에 이진 뉴런을 사용한다.
• 백프로파게이션 중 비가역적인 이진화 연산을 통과하는 기울기를 근사하기 위해 시그모이드 조정을 거친 직선 통과 추정기를 적용한다.
• 이산 출력을 위한 기울기 추정기를 사용하여 표준 백프로파게이션을 통해 전체 모델을 엔드 투 엔드로 훈련시킨다.
• 세 가지 GAN 목표함수를 비교한다: 표준 GAN, WGAN(가중치 클리핑을 사용), WGAN-GP(기울기 페널티를 사용) — 훈련 안정성과 샘플 품질을 평가한다.
• 생성기 및 판별기 아키텍처로 다층 퍼셉트론(MLPs)과 컨volutional 신경망(CNNs)을 모두 평가한다.
• 두 가지 이진화 전략을 적용한다: 0.5에서의 하드 임계값 처리와 생성기의 원시 출력에 대한 확률적 베르누이 샘플링.

실험 결과

연구 질문

• RQ1 생성기에서 이진 뉴런을 갖는 GAN이 기울기 추정기를 사용하여 후처리 없이 엔드 투 엔드로 훈련될 수 있는가?
• RQ2 다양한 GAN 목표함수(GAN, WGAN, WGAN-GP)는 생성된 이진화된 숫자의 품질과 안정성에 어떤 영향을 미치는가?
• RQ3 결정적 대비 확률적 이진 뉴런을 사용할 경우 생성 샘플의 다양성과 정확성에 어떤 영향을 미치는가?
• RQ4 MLP와 CNN 아키텍처는 이진 뉴런을 사용하여 고품질의 이진화된 MNIST 숫자 이미지를 생성하는 데 어떻게 비교되는가?
• RQ5 포워드 패스에 이진화 연산을 포함하고 훈련 중 기울기 추정을 수행할 경우 모델 성능이 향상되는가?

주요 결과

• 제안된 BinaryGAN은 후처리 없이 추론 시점에 직접적으로 이진화된 MNIST 숫자 이미지를 생성하여 빌드된 샘플이 시각적으로 타당함을 입증하였다.
• WGAN-GP 목표함수가 표준 GAN과 WGAN(가중치 클리핑을 사용)보다 뛰어나며, 더 다양한 샘플과 더 높은 품질의 결과를 만들어내며 모드 붕괴 현상도 줄였다.
• MLP에 비해 더 많은 파라미터를 가졌음에도 불구하고, CNN 기반 아키텍처는 더 선명하고 더 잘 정렬된 숫자를 생성하여 잡음이나 기교가 적은 결과를 만들어냈다.
• 0.5에서의 하드 임계값 처리 방식은 확률적 베르누이 샘플링보다 더 일관되고 시각적으로 일관성 있는 숫자를 생성하였다.
• 기울기 추정기의 사용은 이진 생성기의 안정적인 훈련을 가능하게 하여, 이산 분포 모델링에 있어 그 실용성을 확인하였다.
• 이 모델은 이진 뉴런을 사용한 엔드 투 엔드 훈련이 이산 데이터 생성에 있어 가능하고 효과적임을 보여주었으며, 특히 WGAN-GP와 CNN을 조합할 경우 더욱 뛰어난 성능을 발휘함을 입증하였다.