[논문 리뷰] Boundary-Seeking Generative Adversarial Networks

R Devon Hjelm, Athul Paul Jacob외 4명|arXiv (Cornell University)|2017. 02. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 112

한 줄 요약

BGAN은 판별기로부터 중요도 가중 정책 기울기를 도입하여 이산 데이터에 대해 GAN을 학습시키고, 안정성을 향상시키기 위해 연속 데이터에 대한 목적도 확장한다.

ABSTRACT

Generative adversarial networks (GANs) are a learning framework that rely on training a discriminator to estimate a measure of difference between a target and generated distributions. GANs, as normally formulated, rely on the generated samples being completely differentiable w.r.t. the generative parameters, and thus do not work for discrete data. We introduce a method for training GANs with discrete data that uses the estimated difference measure from the discriminator to compute importance weights for generated samples, thus providing a policy gradient for training the generator. The importance weights have a strong connection to the decision boundary of the discriminator, and we call our method boundary-seeking GANs (BGANs). We demonstrate the effectiveness of the proposed algorithm with discrete image and character-based natural language generation. In addition, the boundary-seeking objective extends to continuous data, which can be used to improve stability of training, and we demonstrate this on Celeba, Large-scale Scene Understanding (LSUN) bedrooms, and Imagenet without conditioning.

연구 동기 및 목표

• 판별기의 f-다이버전스 추정치를 활용하여 생성기 업데이트의 중요도 가중치를 형성함으로써 이산 데이터의 GAN 학습에 대해 원리적으로 방법을 제공한다.
• 저변분산(low-variance)이고 경계 추구(boundary-seeking) 목적을 개발하여 이산 및 연속 데이터 모두에 대해 안정적인 생성기 기울기를 얻는다.
• 이산 이미지 및 문자 수준 언어 작업에서의 효과를 시연하고 고차원 연속 벤치마크에서의 안정성 향상을 보인다.

제안 방법

• GAN 목표를 표현하기 위해 f-다이버전스 이중 형태를 채택하고 신경 판별기 T_phi로 변분 하한을 도출한다.
• 판별기를 사용하여 최적의 중요도 가중치 w(x) = (d f* / dT)(T(x))를 계산하고 밀도 추정기 tilde{p}(x) = w(x) q_theta(x) / beta를 정의한다.
• 이산 데이터에 대해 중요도 가중 추정기를 사용한 정책-경사 스타일 업데이트를 구현하고 분산을 줄이기 위한 z를 조건으로 하는 저분산 형태(tilde{p}(x|z))를 포함한다.
• 안정성을 향상시키기 위한 생성기용 연속 BGAN 목표를 제안: 최소화 (log w(G_theta(z)))^2, 동등하게 F_phi(G_theta(z))^2으로, 최적화에 더 나은 특성을 보인다.
• 정규화된 가중치를 계산하고 생성기와 판별기 모두의 기울기 업데이트를 수행하는 이산 BGAN 학습 알고리즘(Algorithm 1)을 제시한다.
• 프레임워크를 REINFORCE 기반 변형으로 확장하고 분산 감소를 위한 베이스라인 기법(예: beta와 같은 상수)을 연결한다.

실험 결과

연구 질문

• RQ1 f-다이버전스 판별기로부터 파생된 경계 추구 목적이 이산 데이터에서의 GAN 학습을 가능하게 하는가?
• RQ2 경계 추구 및 중요도 가중 목표가 표준 GAN 및 WGAN-GP에 비해 이산 및 연속 설정에서 안정성과 성능을 향상시키는가?
• RQ3 경계 추구 접근법이 연속 데이터로 확장되어 고차원 이미지 벤치마크에서 안정성 이점을 제공하는가?
• RQ4 다양한 f-다이버전스(GAN, Jensen-Shannon, KL, Reverse KL, Squared-Hellinger)가 이산 작업에서 BGAN과 함께 사용할 때 어떤 성능을 보이는가?
• RQ5 연속 BGAN 학습의 안정성에 대한 그래디언트 노름 규제가 어떠한 영향을 미치는가?

주요 결과

Measure	IS	REINFORCE
Baseline	26.6	-
WGAN (clipping)	72.3	-
GAN	26.2	27.1
Jensen-Shannon	26.0	27.7
KL	28.1	28.0
Reverse KL	27.8	28.2
Squared-Hellinger	27.0	28.0

• BGAN은 판별기로부터 도출된 중요도 가중치를 사용하여 생성기에 정책 기울기를 형성함으로써 이산 데이터에서의 학습을 가능하게 한다.
• 이산 CIFAR-10 분류 실험에서 중요도 샘플링을 사용하는 BGAN은 상당히 도전적인 설정에서 WGAN보다 큰 차이로 성능이 우수한 대략 26%의 오차율을 달성한다.
• 이산 MNIST 및 양자화된 CelebA 실험은 안정적인 학습과 현실적이고 다양한 샘플을 보여주며, 해당 설정에서 WGAN-GP보다 더 나은 성능을 보인다.
• 1-빌리언 단어 수준의 문자 언어 생성은 이산 BGAN이 연속적 완화 없이도 의미 있는 패턴을 학습할 수 있음을 보여주며 안정성과 실현 가능성을 시사한다.
• CelebA, LSUN, ImageNet에서의 그래디언트 노름 규제와 함께 한 연속 BGAN 실험은 고품질 샘플을 생성하고 고차원 설정에서도 안정성을 유지한다.
• 연속 BGAN 목표 (log w(G_theta(z)))^2은 변분 하한에만 의존하는 것보다 최적화를 더 안정적으로 만드는 경향이 있으며, 특히 그래디언트 노름 규제와 결합될 때 그렇다.