[논문 리뷰] GANs with Conditional Independence Graphs: On Subadditivity of Probability Divergences

Mucong Ding, Constantinos Daskalakis외 1명|arXiv (Cornell University)|2020. 03. 01.

Machine Learning and Data Classification인용 수 2

한 줄 요약

이 논문은 조건부 독립 그래프(Bayes 네트워크 또는 MRF)를 활용하여 고차원 분포 학습을 국소적이고 이웃 기반의 판별자로 분해하는 모델 기반 GAN 프레임워크를 제안한다. 약한 조건 하에서 공통 확률 발산의 하위加성(subadditivity)을 증명함으로써, 표준 GAN에 비해 샘플 품질과 안정성에서 뚜렷한 향상을 이룬 통계적이고 계산적으로 효율적인 훈련을 가능하게 한다.

ABSTRACT

Generative Adversarial Networks (GANs) are modern methods to learn the underlying distribution of a data set. GANs have been widely used in sample synthesis, de-noising, domain transfer, etc. GANs, however, are designed in a model-free fashion where no additional information about the underlying distribution is available. In many applications, however, practitioners have access to the underlying independence graph of the variables, either as a Bayesian network or a Markov Random Field (MRF). We ask: how can one use this additional information in designing model-based GANs? In this paper, we provide theoretical foundations to answer this question by studying subadditivity properties of probability divergences, which establish upper bounds on the distance between two high-dimensional distributions by the sum of distances between their marginals over (local) neighborhoods of the graphical structure of the Bayes-net or the MRF. We prove that several popular probability divergences satisfy some notion of subadditivity under mild conditions. These results lead to a principled design of a model-based GAN that uses a set of simple discriminators on the neighborhoods of the Bayes-net/MRF, rather than a giant discriminator on the entire network, providing significant statistical and computational benefits. Our experiments on synthetic and real-world datasets demonstrate the benefits of our principled design of model-based GANs.

연구 동기 및 목표

• 모델에 의존하지 않는 방식으로 작동하여 변수 간 의존성에 대한 구조적 사전 지식를 활용하지 않는 표준 GAN의 한계를 해결하기 위해.
• GAN 훈련에 사용되는 확률 발산이 Bayes 네트워크 또는 MRF와 같은 그래픽 구조에 대해 하위加성(subadditivity)를 가지는지 조사하기 위해.
• 단일 전역 판별자 대신 그래픽 이웃에 기반한 다수의 국소 판별자를 사용하는 체계적인 모델 기반 GAN 아키텍처를 설계하기 위해.
• 이 분해 방식이 고차원 분포 학습에서 통계적 효율성과 계산적 확장성 향상에 기여하는지 증명하기 위해.
• 합성 및 실세계 데이터셋에서 이론적 프레임워크를 실증적으로 검증하여 개선된 샘플 합성과 훈련 안정성을 보여주기 위해.

제안 방법

• Bayes 네트워크와 MRF 내 조건부 독립 구조 하에서 확률 발산(예: KL, JS, Wassertein)의 하위加성 성질에 대한 이론적 분석.
• 국소 마르코프 블랭킷 또는 클리크를 통한 거리의 합을 사용하여 고차원 분포 간의 거리에 대한 상한을 유도.
• 그래픽 모델이 정의한 이웃 영역에서 작동하는 다수의 국소 판별자로 구성된 GAN 프레임워크 설계.
• 모든 국소 판별자를 동시에 속이는 것을 목표로 생성자와 함께 독립적으로 국소 판별자를 최적화하는 훈련 절차.
• 하위加성 성질을 활용하여 국소 발산 최소화가 전역 발산 최소화를 근사함을 보장.
• 표준 GAN 훈련 목표를 국소 이웃 설정에 적응시켜 약한 조건 하에서도 이론적 수렴 보장을 유지.

실험 결과

연구 질문

• RQ1 GAN에서 사용되는 일반적인 확률 발산이 조건부 독립 그래프 구조에 대해 하위加성(subadditivity)를 만족하는가?
• RQ2 하위加성 성질을 활용하여 단일 전역 판별자 대신 국소 판별자를 사용하는 GAN을 설계할 수 있는가?
• RQ3 그래픽 구조에 기반한 국소 판별자를 사용할 경우 통계적 및 계산적 이점은 무엇인가?
• RQ4 제안된 모델 기반 GAN의 성능은 표준 GAN에 비해 샘플 품질과 훈련 안정성 측면에서 어떻게 다른가?
• RQ5 국소 GAN 프레임워크는 어떤 조건에서 수렴성 및 일반화 성질을 유지하는가?

주요 결과

• KL, JS, Wassertein 발산을 포함한 여러 표준 확률 발산은 Bayes 네트워크와 MRF에서 약한 조건부 독립 가정 하에 하위加성 성질을 만족한다.
• 국소 판별자를 사용하는 제안된 모델 기반 GAN은 합성 및 실세계 데이터셋에서 표준 GAN에 비해 더 높은 샘플 품질과 훈련 안정성을 달성한다.
• 국소 판별자로의 분해를 통해 국소 의존성에 집중함으로써 계산 복잡도를 감소시키고 통계적 효율성을 향상시킨다.
• 실증 결과에 따르면, 그래픽 구조가 부분적으로 잘못 지정되어 있어도 국소 GAN 프레임워크는 잘 일반화됨을 보였다.
• 하위加성 성질 덕분에 국소 발산 최소화가 전역 발산에 대한 통제 가능한 상한을 보장하므로 국소 훈련 전략이 타당하다고 판단된다.
• 이 방법은 고차원 데이터에 대해 강건하며, 기반 그래픽 모델의 희박성에 따라 효과적으로 확장된다.