[论文解读] Dimensionality Reduction Flows

H. Das, Pieter Abbeel+1 more|arXiv (Cornell University)|Aug 5, 2019

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 7

一句话总结

该论文通过学习低维潜在先验并引入多尺度结构中的数据相关维度分解，提出了一种归一化流模型的降维方法。该方法在减少潜在空间大小的同时保持精确的似然估计，从而在图像基准测试中实现了更高的对数似然分数，优于静态先验和固定分解方法。

ABSTRACT

Deep generative modelling using flows has gained popularity owing to the tractable exact log-likelihood estimation with efficient training and synthesis process. Trained flow models carry rich information about the structure and local variance in input data. However, a bottleneck for flow models to scale with increasing dimensions is that the latent space has same size as the high-dimensional input space. In this paper, we propose methods to reduce the latent space dimension of flow models. Our first approach includes replacing standard high dimensional prior with a learned prior from a low dimensional noise space. Further improving to achieve exact log-likelihood with reduced dimensionality, our second approach presents an improved multi-scale architecture (Dinh et al., 2016) via likelihood contribution based factorization of dimensions. Using our method over state-of-the-art flow models, we demonstrate improvements in log-likelihood score on standard image benchmarks. Our work ventures a data dependent factorization scheme which is more efficient than static counterparts in prior works.

研究动机与目标

• 解决由于潜在空间维度高（与输入维度匹配）导致的归一化流可扩展性瓶颈。
• 在不牺牲精确对数似然估计的前提下，降低潜在空间的维度。
• 开发一种数据相关的维度分解方案，以在多尺度流中实现优于静态、预定义维度分割的效率。
• 通过使用低维潜在表示，在标准图像基准测试中提升样本质量和似然分数。
• 通过从噪声空间学习低维先验，实现基于流的生成模型中更高效的训练和推理。

提出的方法

• 用从低维噪声空间映射的已学习先验替代标准的高维各向同性高斯先验。
• 在多尺度流架构中引入基于单个维度对似然贡献的数据相关维度分解。
• 利用每个维度的似然贡献来决定其是否保留在潜在空间中，从而实现动态、数据自适应的压缩。
• 通过确保雅可比行列式在降维后仍保持可计算性，维持精确的对数似然计算。
• 使用标准流目标端到端训练模型，联合优化已学习先验和分解方案。
• 将该方法应用于最先进的流模型（如Glow和RealNVP），在图像基准测试中验证了性能提升。

实验结果

研究问题

• RQ1 已学习的低维先验是否能在降低潜在空间维度的同时，提升归一化流的对数似然性能？
• RQ2 在多尺度流中，数据相关的维度分解是否优于静态、固定的维度分割，从而带来更好的似然分数？
• RQ3 能否在不牺牲流模型中精确对数似然估计的前提下，实现潜在空间的降维？
• RQ4 与标准流模型相比，该方法在图像基准测试中的样本质量和似然分数表现如何？
• RQ5 该数据相关的分解方案在多大程度上能自适应地捕捉高维数据中的有意义结构？

主要发现

• 与基线流模型相比，该方法在CIFAR-10和CIFAR-100等标准图像基准测试中实现了更高的对数似然分数。
• 已学习的低维先验通过减少潜在空间中的参数数量和计算成本，实现了更高效的建模。
• 在多尺度流中，数据相关的分解方案相比静态、预定义的维度分割，带来了更好的似然性能。
• 尽管进行了降维，该方法仍保持了精确的对数似然估计，保留了流模型的关键优势。
• 已学习先验与自适应分解的结合，实现了对高维数据更高效、更有效的建模。
• 该方法展示了可扩展性的改进，使流模型在不牺牲似然精度的前提下，更适用于高维数据。