[논문 리뷰] Improving GAN Training via Binarized Representation Entropy (BRE) Regularization

Yanshuai Cao, Gavin Weiguang Ding외 2명|arXiv (Cornell University)|2018. 05. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 9

한 줄 요약

이 논문은 생성적 적대적 네트워크(GAN) 훈련을 향상시키기 위해 이진 표현 엔트로피(BRE) 정규화를 도입한다. 이는 판별기의 내부 은닉층이 다양하고 고엔트로피를 가진 이진 활성화 패턴을 생성하도록 유도함으로써 생성기의 더 정보가 풍부하고 안정적인 기울기를 제공한다. 이 방법은 합성 및 실재 데이터셋 모두에서 훈련 안정성, 수렴 속도, 샘플 품질을 향상시키며, 준지도 학습 정확도 향상에도 기여한다.

ABSTRACT

We propose a novel regularizer to improve the training of Generative Adversarial Networks (GANs). The motivation is that when the discriminator D spreads out its model capacity in the right way, the learning signals given to the generator G are more informative and diverse. These in turn help G to explore better and discover the real data manifold while avoiding large unstable jumps due to the erroneous extrapolation made by D. Our regularizer guides the rectifier discriminator D to better allocate its model capacity, by encouraging the binary activation patterns on selected internal layers of D to have a high joint entropy. Experimental results on both synthetic data and real datasets demonstrate improvements in stability and convergence speed of the GAN training, as well as higher sample quality. The approach also leads to higher classification accuracies in semi-supervised learning.

연구 동기 및 목표

• 생성적 적대적 네트워크(GAN)에서 모드 붕괴와 불안정한 훈련 문제를 해결하기 위해 판별기의 모델 용량 할당 방식을 개선한다.
• 은닉층에서 고엔트로피 활성화 패턴을 유도함으로써 판별기가 생성기에게 다양한 정보를 가진 기울기를 제공할 수 있도록 보장한다.
• 직렬기반 네트워크의 이진 활성화 패턴에 작용하는 새로운 정규화 기법을 통해 GAN의 훈련 안정성과 샘플 품질을 향상시킨다.
• BRE 정규화로 인한 판별기 용량 할당 향상으로 준지도 학습 성능을 향상시킨다.

제안 방법

• 선택된 판별기 은닉층의 이진 활성화 패턴의 연합 엔트로피를 최대화하는 정규화 기법을 도입한다.
• 활성화 패턴이 정의하는 선형 영역의 수와 직렬기 네트워크 용량 간 이론적 연관성을 활용하며, 엔트로피를 용량 다양성의 대체 지표로 사용한다.
• 훈련 중에 정규화 기법을 적용하여 판별기가 더 많은 서로 다른 입력 영역에 걸쳐 용량을 분산시키도록 유도하며, 열악한 저엔트로피 활성화 패턴을 피한다.
• 표준 GAN 훈련과 호환되며, 아키텍처 변경 없이 작은 엔트로피 기반 손실 항목을 추가하기만 하면 된다.
• 가짜 데이터와 진짜 데이터 모두에 정규화를 적용하며, 진짜와 가짜 샘플 사이의 보간점에도 적용하여 일반화 성능을 더욱 향상시킨다.
• 이진 활성화에 대한 미분 가능한 엔트로피 근사치를 사용하여 정규화를 구현함으로써 엔드 투 엔드 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 활성화 패턴의 다양성을 통해 판별기의 용량 할당을 개선하면 더 안정적이고 빠른 GAN 훈련이 가능할까?
• RQ2 판별기에서 고엔트로피 이진 활성화 패턴을 유도하면 생성된 샘플의 품질과 다양성이 향상될까?
• RQ3 BRE 정규화는 판별기의 표현 용량 향상으로 인해 준지도 학습의 일반화 성능을 향상시킬 수 있을까?
• RQ4 왜 기울기 기반 다양성 정규화 기법은 직렬기 네트워크에서는 실패하는가? BRE는 이 제약을 어떻게 극복하는가?

주요 결과

• BRE 정규화는 더 빠른 수렴과 향상된 훈련 안정성을 이끌었으며, 특히 SVHN에서 장기간 훈련을 진행한 결과 100%의 시도에서 발산을 감소시켰다.
• 특성 매칭 GAN을 사용한 CIFAR-10에서 BRE를 적용하면 테스트 오차율이 13.93% (10-앙상블)로 감소하여 BRE 없이 사용할 경우 14.25%보다 우수한 일반화 성능을 보였다.
• BRE를 사용한 훈련 중 인셉션 스코어가 향상되어 특히 초기 훈련 단계에서 더 높은 품질과 더 다양한 샘플을 생성함을 보였다.
• BRE 정규화 기법은 진짜 데이터에 적용하지 않더라도 가짜 데이터와 보간 샘플에만 적용되어도, 더 많은 선형 영역에 용량을 할당하도록 판별기를 유도하는 데 성공했다.
• 아키텍처 변경 없이도 준지도 학습 성능 향상을 이끌었으며, 다양한 설정에서 호환성과 효과성을 입증했다.
• 실험 결과 기울기 기반 다양성 정규화 기법은 공유된 활성화 패턴에서 기울기의 공선성 때문에 직렬기 네트워크에서 실패한다는 점을 확인했으며, BRE는 전체 활성화 패턴을 기반으로 작동함으로써 이 제약을 극복한다.