[论文解读] GANs with Conditional Independence Graphs: On Subadditivity of Probability Divergences

Mucong Ding, Constantinos Daskalakis+1 more|arXiv (Cornell University)|Mar 1, 2020

Machine Learning and Data Classification被引用 2

一句话总结

本文提出了一种基于模型的 GAN 框架，利用条件独立图（贝叶斯网或 MRF）将高维分布学习分解为基于局部邻域的判别器。通过在温和条件下证明常见概率散度的次可加性，该方法实现了统计上和计算上高效的训练，在样本质量和稳定性方面显著优于标准 GAN。

ABSTRACT

Generative Adversarial Networks (GANs) are modern methods to learn the underlying distribution of a data set. GANs have been widely used in sample synthesis, de-noising, domain transfer, etc. GANs, however, are designed in a model-free fashion where no additional information about the underlying distribution is available. In many applications, however, practitioners have access to the underlying independence graph of the variables, either as a Bayesian network or a Markov Random Field (MRF). We ask: how can one use this additional information in designing model-based GANs? In this paper, we provide theoretical foundations to answer this question by studying subadditivity properties of probability divergences, which establish upper bounds on the distance between two high-dimensional distributions by the sum of distances between their marginals over (local) neighborhoods of the graphical structure of the Bayes-net or the MRF. We prove that several popular probability divergences satisfy some notion of subadditivity under mild conditions. These results lead to a principled design of a model-based GAN that uses a set of simple discriminators on the neighborhoods of the Bayes-net/MRF, rather than a giant discriminator on the entire network, providing significant statistical and computational benefits. Our experiments on synthetic and real-world datasets demonstrate the benefits of our principled design of model-based GANs.

研究动机与目标

• 为解决标准 GAN 的局限性，即以无模型方式运行，未利用关于变量依赖关系的结构先验知识。
• 探究 GAN 训练中使用的概率散度是否在贝叶斯网或 MRF 等图结构下表现出次可加性。
• 设计一种基于原理的、基于模型的 GAN 架构，使用多个基于图邻域的局部判别器，而非单一全局判别器。
• 证明这种分解可提高高维分布学习中的统计效率和计算可扩展性。
• 在合成数据集和真实世界数据集上实证验证理论框架，展示改进的样本生成质量和训练稳定性。

提出的方法

• 对贝叶斯网和 MRF 中条件独立结构下概率散度（如 KL、JS、Wasserstein）的次可加性属性进行理论分析。
• 推导出使用局部马尔可夫毯或团上距离之和来估计高维分布之间距离的上界。
• 设计一种 GAN 框架，其中判别器被分解为多个局部判别器，每个局部判别器作用于图模型定义的邻域。
• 采用一种训练流程，独立优化局部判别器，同时联合训练生成器以欺骗所有局部判别器。
• 利用次可加性性质，确保最小化局部散度可近似最小化全局散度。
• 将标准 GAN 训练目标适配到局部邻域设置，同时在温和条件下保持理论收敛保证。

实验结果

研究问题

• RQ1 GAN 中常用的概率散度是否在条件独立图结构下满足次可加性？
• RQ2 能否利用次可加性设计出使用局部判别器而非单一全局判别器的 GAN？
• RQ3 基于图结构的局部判别器在统计和计算方面有何优势？
• RQ4 所提出的基于模型的 GAN 在样本质量和训练稳定性方面与标准 GAN 相比表现如何？
• RQ5 局部 GAN 框架在何种条件下能保持收敛性和泛化能力？

主要发现

• 在贝叶斯网和 MRF 中，若干标准概率散度（包括 KL、JS 和 Wasserstein 散度）在温和的条件独立假设下满足次可加性。
• 所提出的基于局部判别器的模型化 GAN 在合成数据集和真实世界数据集上均实现了比标准 GAN 更优的样本质量和训练稳定性。
• 将判别器分解为局部形式可降低计算复杂度，并通过聚焦于局部依赖关系提升统计效率。
• 实证结果表明，即使图结构部分误设，局部 GAN 框架仍能良好泛化。
• 次可加性性质确保最小化局部散度可导出对全局散度的可控上界，从而为局部训练策略提供理论依据。
• 该方法对高维数据具有鲁棒性，并能随底层图模型的稀疏性有效扩展。