[论文解读] Copula & Marginal Flows: Disentangling the Marginal from its Joint

Magnus Wiese, Robert Knobloch+1 more|arXiv (Cornell University)|Jul 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 10

一句话总结

本文提出了耦合与边缘流（CM 流），一种新颖的深度生成模型，通过耦合流和边缘流将边缘分布与依赖结构解耦。证明了标准生成网络由于Lipschitz约束，无法精确建模尾部渐近行为，并通过数值实验表明，CM 流能够高度准确地逼近复杂耦合结构，同时保持均匀边缘分布以实现精确的尾部分析。

ABSTRACT

Deep generative networks such as GANs and normalizing flows flourish in the context of high-dimensional tasks such as image generation. However, so far exact modeling or extrapolation of distributional properties such as the tail asymptotics generated by a generative network is not available. In this paper, we address this issue for the first time in the deep learning literature by making two novel contributions. First, we derive upper bounds for the tails that can be expressed by a generative network and demonstrate Lp-space related properties. There we show specifically that in various situations an optimal generative network does not exist. Second, we introduce and propose copula and marginal generative flows (CM flows) which allow for an exact modeling of the tail and any prior assumption on the CDF up to an approximation of the uniform distribution. Our numerical results support the use of CM flows.

研究动机与目标

• 为解决深度生成网络在极端值分析中缺乏精确尾部分析的问题。
• 证明标准生成网络由于固有的Lipschitz约束，无法精确建模尾部行为。
• 提出一种新架构——耦合与边缘流（CM 流），以实现边缘分布与依赖结构的精确建模。
• 通过数值实验表明，CM 流能够紧密逼近复杂耦合结构，同时保持均匀边缘分布以实现精确的尾部外推。

提出的方法

• CM 流将联合分布分解为建模依赖关系的耦合流和建模单个CDF的边缘流。
• 耦合流由基于Real NVP的流与可逆CDF（如sigmoid函数）组合而成，确保输出值在[0,1]范围内。
• 边缘流通过学习数据的经验CDF的逆函数，实现边缘分布的精确建模。
• 模型采用可交换的可逆变换图：Z → U → C → X，其中U为均匀分布，C为耦合结构。
• 引入受限的二元耦合流，其中一个变量被变换，另一个保持均匀，从而保持精确的边缘分布。
• 训练通过基于Jensen-Shannon散度、边缘均匀性度量（T）和最大密度偏差（M）的中断准则进行优化。

实验结果

研究问题

• RQ1 标准深度生成网络（如GAN或归一化流）能否精确建模目标分布的尾部分析行为？
• RQ2 现有生成网络中，何种理论限制导致无法实现精确尾部分析？
• RQ3 能否构建一种深度生成模型，显式地将边缘分布与依赖结构解耦？
• RQ4 耦合与边缘流能否实现对复杂耦合结构的高保真逼近，同时保持精确的均匀边缘分布？
• RQ5 能否设计一种基于流的模型，实现极端值行为的精确外推？

主要发现

• 理论分析表明，任何具有Lipschitz连续生成器的生成网络，其尾部分析行为均被限制在轻尾分布范围内，意味着精确尾部分析通常不可能实现。
• 证明了当输入噪声的p阶矩有界时，在Lp空间中不存在最优生成网络，原因在于Lipschitz约束。
• 数值结果表明，CM 流在Clayton耦合（参数2）上的Jensen-Shannon散度为2.40×10⁻⁴，Frank耦合（参数5）为6.89×10⁻⁴，Gumbel耦合（参数5）为5.96×10⁻³，表明逼近精度极高。
• 所有基准测试中，边缘均匀性度量T(1,25)与T(2,25)均低于1.3×10⁻⁴，证实诱导的边缘分布几乎均匀。
• 最大密度偏差M(1,25)与M(2,25)均保持在5.0×10⁻²以下，表明在整个支持域上密度估计具有一致性。
• 受限的二元耦合流成功保持了均匀边缘分布，从而实现了对某一变量的精确尾部分析。