[論文レビュー] GANs with Conditional Independence Graphs: On Subadditivity of Probability Divergences

Mucong Ding, Constantinos Daskalakis+1 more|arXiv (Cornell University)|Mar 1, 2020

Machine Learning and Data Classification被引用数 2

ひとこと要約

本稿では、条件付き独立性グラフ（ベイズネットやMRF）を活用して、高次元分布学習を局所的・近隣ベースの識別器に分解するモデルベースの GAN フレームワークを提案する。弱い条件下でも一般的な確率的距離の下界性を証明することで、標準 GAN よりも顕著なサンプル品質および安定性の向上を実現する統計的かつ計算的に効率的な学習が可能になる。

ABSTRACT

Generative Adversarial Networks (GANs) are modern methods to learn the underlying distribution of a data set. GANs have been widely used in sample synthesis, de-noising, domain transfer, etc. GANs, however, are designed in a model-free fashion where no additional information about the underlying distribution is available. In many applications, however, practitioners have access to the underlying independence graph of the variables, either as a Bayesian network or a Markov Random Field (MRF). We ask: how can one use this additional information in designing model-based GANs? In this paper, we provide theoretical foundations to answer this question by studying subadditivity properties of probability divergences, which establish upper bounds on the distance between two high-dimensional distributions by the sum of distances between their marginals over (local) neighborhoods of the graphical structure of the Bayes-net or the MRF. We prove that several popular probability divergences satisfy some notion of subadditivity under mild conditions. These results lead to a principled design of a model-based GAN that uses a set of simple discriminators on the neighborhoods of the Bayes-net/MRF, rather than a giant discriminator on the entire network, providing significant statistical and computational benefits. Our experiments on synthetic and real-world datasets demonstrate the benefits of our principled design of model-based GANs.

研究の動機と目的

• 標準 GAN が変数間の依存関係に関する構造的事前知識を活用しないモデルフリーな性質を補完すること。
• GAN 学習で用いられる確率的距離が、ベイズネットや MRF のようなグラフィカル構造に関して下界性を示すかどうかを調査すること。
• 単一のグローバル識別器ではなく、グラフィカルネIGHボラヒューディスの上に複数の局所的識別器を用いる、原理的でモデルベースの GAN アーキテクチャを設計すること。
• この分解が高次元分布学習における統計的効率性と計算スケーラビリティを向上させることを示すこと。
• 理論的枠組みを合成データおよび実世界のデータセット上で実証的に検証し、サンプル生成品質および学習安定性の向上を示すこと。

提案手法

• ベイズネットや MRF における条件付き独立構造下での確率的距離（例：KL、JS、Wasserstein）の下界性特性に関する理論的分析。
• 局所的マルコフブラケットまたはクリーク上の距離の和を用いて、高次元分布間の距離の上界を導出すること。
• 識別器を、グラフィカルモデルによって定義された近隣領域で動作する複数の局所的識別器に分解する GAN フレームワークの設計。
• グローバルな生成器が、すべての局所的識別器を欺くように同時に学習される一方で、局所的識別器を独立して最適化する学習手順。
• 下界性の性質を活用して、局所的距離の最小化がグローバル距離の最小化を近似できることを保証すること。
• 標準 GAN 学習目的関数を局所的近隣設定に適応させ、弱い条件下でも理論的収束保証を維持すること。

実験結果

リサーチクエスチョン

• RQ1 GAN で用いられる一般的な確率的距離は、条件付き独立性グラフ構造に関して下界性を満たすか？
• RQ2 下界性を活用して、単一のグローバル識別器ではなく局所的識別器を用いた GAN を設計できるか？
• RQ3 グラフィカル構造に基づく局所的識別器を用いることによる統計的および計算的利点は何か？
• RQ4 提案手法のモデルベース GAN は、サンプル品質および学習安定性の観点で標準 GAN より優れているか？
• RQ5 局所的 GAN フレームワークは、どのような条件下で収束性および一般化特性を維持するか？

主な発見

• KL、JS、Wasserstein などの標準的確率的距離は、ベイズネットや MRF において弱い条件付き独立仮定のもとで下界性を満たす。
• 提案された局所的識別器を用いたモデルベース GAN は、合成データおよび実世界のデータセットにおいて、標準 GAN よりも優れたサンプル品質および学習安定性を達成する。
• 局所的識別器への分解により、局所的依存関係に焦点を当てることで、計算複雑性の低減と統計的効率性の向上が達成される。
• 実証的結果から、グラフィカル構造が部分的に誤って指定されていても、局所的 GAN フレームワークは良好な一般化性能を示す。
• 下界性の性質により、局所的距離の最小化がグローバル距離の制御された上界をもたらすことが保証され、局所的学習戦略の正当性が裏付けられる。
• 本手法は高次元データに対してロバストであり、元のグラフィカルモデルのスパarsity に応じて効果的にスケーリングする。