[논문 리뷰] Energy-based Generative Adversarial Network

Junbo Zhao, Michaël Mathieu외 1명|arXiv (Cornell University)|2016. 09. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 893

한 줄 요약

EBGAN은 GAN의 판별기를 에너지 함수로 재해석하여 자동 인코더 기반의 에너지 측정과 향상된 학습 안정성을 가능하게 하며, 고해상도 이미지 생성을 입증합니다.

ABSTRACT

We introduce the "Energy-based Generative Adversarial Network" model (EBGAN) which views the discriminator as an energy function that attributes low energies to the regions near the data manifold and higher energies to other regions. Similar to the probabilistic GANs, a generator is seen as being trained to produce contrastive samples with minimal energies, while the discriminator is trained to assign high energies to these generated samples. Viewing the discriminator as an energy function allows to use a wide variety of architectures and loss functionals in addition to the usual binary classifier with logistic output. Among them, we show one instantiation of EBGAN framework as using an auto-encoder architecture, with the energy being the reconstruction error, in place of the discriminator. We show that this form of EBGAN exhibits more stable behavior than regular GANs during training. We also show that a single-scale architecture can be trained to generate high-resolution images.

연구 동기 및 목표

• 판별기가 확률이 아니라 에너지 점수를 출력하는 에너지 기반 GAN 공식화를 도입한다.
• 이 프레임워크 하에서 생성기는 데이터 멀티폴라 밖의 에너지 영역을 최소화하고, 실제 데이터에는 낮은 에너지를 부여한다는 것을 보인다.
• 판별기로 자동 인코더를 사용할 때 안정적인 학습을 얻고 다중 스케일 설정 없이도 고해상도 이미지를 생성할 수 있음을 입증한다.
• 단순 힌지 로스 아래 생성기가 데이터 분포에 일치하는 균형 조건에 관한 이론적 결과를 제공한다.
• 다양한 데이터 모드를 포괄하도록 유도하는 정규화 기법(예: 반발 정규화 규칙)을 조사한다.

제안 방법

• D를 에너지 함수로 정의하고, 실제 데이터에 대해 D(x)를 낮게, D(G(z))가 마진 m 이상이 되도록 마진 손실로 학습한다.
• 생성기 손실 L_G(z)=D(G(z))와 판별기 손실 L_D(x,z)=D(x)+[m−D(G(z))]^+를 사용하며 [·]^+은 힌지 함수이다.
• D를 자동 인코더로 구현하고 에너지는 재구성 오차 ||Dec(Enc(x))−x||와 같다.
• 에너지 기반 프레이밍이 이진 분류기를 넘는 유연한 아키텍처와 손실 함수들을 가능하게 한다고 주장한다.
• 다양한 표현을 촉진하고 모드 붕괴를 완화하기 위해 반발 정규화 항(Pulling-away Term)을 도입한다.
• 데이터 매니폴드 밖에서 에너지가 더 높아지도록 항등 매핑을 피하고 자동 인코더의 정규화에 대해 논의한다.

실험 결과

연구 질문

• RQ1 오토인코더 판별기를 갖춘 에너지 기반 GAN(EBGAN) 프레임워크가 내쉬 균형 하에서 데이터 분포로 수렴하는가?
• RQ2 마진 손실이 EBGAN의 균형 및 학습 안정성에 어떤 영향을 미치는가?
• RQ3 반발 정규화가 생성 샘플의 모드 포괄성 및 다양성을 향상시킬 수 있는가?
• RQ4 오토인코더 판별기를 사용하는 단일 스케일 EBGAN으로 고해상도 이미지를 생성할 수 있는가?
• RQ5 전통적 GAN과 비교했을 때 EBGAN의 안정성과 품질에 대한 아키텍처 선택의 영향은 무엇인가?

주요 결과

• 단순 힌지 로스 하에서 내쉬 균형은 p_G = p_data를 산출하여 생성 샘플이 데이터 분포와 일치한다는 것을 의미한다.
• 오토인코더 판별기는 유연한 에너지 표면을 제공하며 표준 GAN 판별기보다 더 안정적인 학습을 가져올 수 있다.
• EBGAN은 멀티 스케일 아키텍처 없이 ImageNet에서 고해상도 이미지(256×256)를 생성할 수 있다.
• 반발 항과 같은 정규화가 샘플 다양성을 향상시키고 여러 데이터 모드를 포괄하는 데 도움을 준다.
• EBGAN은 MNIST 그리드 탐색에서 GAN보다 더 안정적인 학습을 보이고 Ladder Networks와 함께 준지도 학습 확장을 가능하게 한다.
• 깊은 합성곱 아키텍처와 EBGAN의 조합은 LSUN Bedroom 및 CelebA 데이터셋에서 현실적인 생성을 가능하게 한다.