[论文解读] Canonical normalizing flows for manifold learning

Kyriakos Flouris, Ender Konukoğlu|arXiv (Cornell University)|Oct 19, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出了一种名为规范流形流（Canonical Manifold Flow, CMF）的新优化目标，用于流形学习归一化流，通过最小化度量张量非对角元素的 ℓ₁-范数，在潜在空间中强制实现稀疏、非退化且局部正交的内在基。该方法在不增加计算成本的前提下，提升了生成样本质量和潜在空间效率，FID 分数低于以往方法。

ABSTRACT

Manifold learning flows are a class of generative modelling techniques that assume a low-dimensional manifold description of the data. The embedding of such a manifold into the high-dimensional space of the data is achieved via learnable invertible transformations. Therefore, once the manifold is properly aligned via a reconstruction loss, the probability density is tractable on the manifold and maximum likelihood can be used to optimize the network parameters. Naturally, the lower-dimensional representation of the data requires an injective-mapping. Recent approaches were able to enforce that the density aligns with the modelled manifold, while efficiently calculating the density volume-change term when embedding to the higher-dimensional space. However, unless the injective-mapping is analytically predefined, the learned manifold is not necessarily an efficient representation of the data. Namely, the latent dimensions of such models frequently learn an entangled intrinsic basis, with degenerate information being stored in each dimension. Alternatively, if a locally orthogonal and/or sparse basis is to be learned, here coined canonical intrinsic basis, it can serve in learning a more compact latent space representation. Toward this end, we propose a canonical manifold learning flow method, where a novel optimization objective enforces the transformation matrix to have few prominent and non-degenerate basis functions. We demonstrate that by minimizing the off-diagonal manifold metric elements $\ell_1$-norm, we can achieve such a basis, which is simultaneously sparse and/or orthogonal. Canonical manifold flow yields a more efficient use of the latent space, automatically generating fewer prominent and distinct dimensions to represent data, and a better approximation of target distributions than other manifold flow methods in most experiments we conducted, resulting in lower FID scores.

研究动机与目标

• 为解决现有流形学习流（MLFs）潜在空间表征中的低效性和退化问题，其中信息在各维度间冗余存储。
• 通过鼓励使用规范内在基（同时稀疏且局部正交），提升学习到的潜在空间的紧凑性和可解释性。
• 通过一种新的优化目标实现上述目标，该目标利用现有的雅可比矩阵计算，避免额外的计算开销。
• 证明更结构化的潜在基可带来更好的生成性能，并更准确地逼近目标数据分布。
• 提供一种理论基础坚实、计算高效的流形流建模方法，同时保持精确的似然计算。

提出的方法

• 该方法引入一个新的损失项，最小化由流的雅可比矩阵导出的黎曼度量张量的非对角元素的 ℓ₁-范数。
• 该损失促使潜在空间中学习到的切向量呈现稀疏性并近似正交，从而在不强制严格正交性的情况下促进规范基的形成。
• 优化过程被整合进流形学习流的标准似然最大化目标中，复用变分公式中的雅可比矩阵计算。
• 该方法与现有的 MLF 框架（如 RNF 和 MFlow）兼容，可应用于合成数据和图像数据。
• 该方法无需额外的可逆性约束或架构修改，因此轻量化且即插即用。
• 规范基自然地从优化中浮现，从而在潜在维度中实现更好的解耦和更低的退化。

(a) Density plot for a fuzzy line learned with RNF, via Equation 4 .

实验结果

研究问题

• RQ1 在潜在空间中最小化非对角度量元素是否能带来更紧凑且非退化的表征？
• RQ2 在学习到的基中强制实现稀疏性和局部正交性是否能提升样本质量和似然逼近？
• RQ3 是否能在不引入额外计算成本或架构复杂性的情况下实现这一点？
• RQ4 与标准 MLF 方法相比，所得规范基在 FID 分数和潜在空间解耦方面表现如何？
• RQ5 该方法在不同数据类型（包括合成数据和图像数据）上的泛化能力如何？

主要发现

• 所提出的 CMF 方法在多个实验中均实现了低于基线流形学习流的 Fréchet Inception Distance (FID) 分数，表明样本质量得到提升。
• 学习到的潜在表征表现出更低的退化程度，更少的显著且独立的维度即可高效捕捉数据流形。
• 对非对角度量元素的 ℓ₁-范数最小化成功促进了内在基的稀疏性和局部正交性，而无需强制实现严格正交性。
• 该方法保持了精确的似然计算，不依赖近似，从而保留了归一化流的数学严谨性。
• 该方法实现了更好的数据成分解耦，有利于下游任务（如分布外检测）。
• 该方法计算高效，可对现有 MLF 框架进行最小修改后应用，如在合成数据和图像数据实验中所展示。

(b) Density plot for a fuzzy line learned with CMF, via Equation 8 .