[论文解读] Max-Affine Spline Insights into Deep Generative Networks

Randall Balestriero, Sébastien Paris+1 more|arXiv (Cornell University)|Feb 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 60被引用 4

一句话总结

本文建立了一套理论框架，将深度生成网络（DGNs）与最大仿射样条算子（MASOs）联系起来，揭示了分段仿射流形如何塑造生成数据。该研究推导出输出密度和熵的解析表达式，实现了似然度计算，并揭示了在建模低熵或多重模态分布时的局限性，对解耦与训练稳定性具有启示意义。

ABSTRACT

We connect a large class of Generative Deep Networks (GDNs) with spline operators in order to derive their properties, limitations, and new opportunities. By characterizing the latent space partition, dimension and angularity of the generated manifold, we relate the manifold dimension and approximation error to the sample size. The manifold-per-region affine subspace defines a local coordinate basis; we provide necessary and sufficient conditions relating those basis vectors with disentanglement. We also derive the output probability density mapped onto the generated manifold in terms of the latent space density, which enables the computation of key statistics such as its Shannon entropy. This finding also enables the computation of the GDN likelihood, which provides a new mechanism for model comparison as well as providing a quality measure for (generated) samples under the learned distribution. We demonstrate how low entropy and/or multimodal distributions are not naturally modeled by DGNs and are a cause of training instabilities.

研究动机与目标

• 开发一个理论框架，将深度生成网络（DGNs）与最大仿射样条算子（MASOs）联系起来，以获得更深入的结构理解。
• 表征DGNs中生成数据的内在维度、角度结构和流形分区特性。
• 推导生成流形上输出概率密度和香农熵的解析表达式。
• 基于局部仿射基向量，建立解耦的充分必要条件。
• 揭示DGNs在建模低熵或多重模态分布时的局限性，并将其与训练不稳定性联系起来。

提出的方法

• 将DGNs建模为最大仿射样条算子（MASOs）的复合，MASOs是连续分段仿射（CPA）函数。
• 将每一层表示为R个仿射变换的逐点最大值：$\text{MASO}(\bm{u};\{\bm{A}_r,\bm{b}_r\}_{r=1}^R) = \max_r \bm{A}_r\bm{u} + \bm{b}_r$。
• 分析潜在空间被划分为多面体区域，每个区域对应一个特定的激活仿射映射。
• 推导生成器映射的雅可比行列式，通过变量变换从潜在密度计算输出密度。
• 利用每个区域内的局部仿射基向量定义坐标系，并通过角度约束分析解耦。
• 将该框架应用于分析dropout和dropconnect，表明它们在生成器维度上诱导出混合模型。

实验结果

研究问题

• RQ1 DGNs的分段仿射结构如何影响生成流形的内在维度和几何特性？
• RQ2 局部仿射基向量需满足何种条件，才能确保潜在空间中的解耦？
• RQ3 如何在生成流形上解析计算输出概率密度和香农熵？
• RQ4 为何低熵或多重模态分布会导致DGNs的训练不稳定性？
• RQ5 尽管存在过参数化，dropout和权重重用如何限制生成流形的曲率？

主要发现

• 生成流形的内在维数由活跃仿射区域的数量及其角度关系决定，维数上限受潜在空间大小限制。
• 本文推导出生成流形上输出概率密度的解析表达式，实现了似然度计算与模型比较。
• 输出密度的香农熵为评估DGNs生成复杂低熵分布的难度提供了一项新指标。
• 低熵和多重模态分布难以被标准DGNs有效建模，导致训练不稳定性，原因在于流形几何不匹配。
• DGNs中的权重重用即使在高度过参数化的情况下，也严重限制了生成流形的曲率。
• dropout和dropconnect均导致生成器维度和参数不同的DGN混合模型，但由于逐元素噪声应用，dropconnect更不容易降低生成器维度。