[论文解读] Increasing Expressivity of a Hyperspherical VAE

Tim R. Davidson, Jakub M. Tomczak+1 more|arXiv (Cornell University)|Oct 7, 2019

Gaussian Processes and Bayesian Inference参考文献 23被引用 4

一句话总结

本文提出了一种产品空间超球面变分自编码器（product-space hyperspherical VAE），通过将单一高维超球面分解为多个独立的子超球面，从而提升模型的表达能力，每个子超球面具有独立的浓度参数。通过将冯·米塞斯-费雪（von Mises-Fisher）分布的标量浓度参数替换为各子空间的参数，该模型在 MNIST、Caltech 和 Omniglot 等图像数据集上显著提升了对数似然和特征解耦性能，优于标准超球面 VAE 和高斯 VAE。

ABSTRACT

Learning suitable latent representations for observed, high-dimensional data is an important research topic underlying many recent advances in machine learning. While traditionally the Gaussian normal distribution has been the go-to latent parameterization, recently a variety of works have successfully proposed the use of manifold-valued latents. In one such work (Davidson et al., 2018), the authors empirically show the potential benefits of using a hyperspherical von Mises-Fisher (vMF) distribution in low dimensionality. However, due to the unique distributional form of the vMF, expressivity in higher dimensional space is limited as a result of its scalar concentration parameter leading to a 'hyperspherical bottleneck'. In this work we propose to extend the usability of hyperspherical parameterizations to higher dimensions using a product-space instead, showing improved results on a selection of image datasets.

研究动机与目标

• 为解决高维潜在空间中冯·米塞斯-费雪（vMF）分布因仅含单一标量浓度参数而导致的表达能力受限问题。
• 通过将潜在空间分解为低维超球面的笛卡尔积，提升超球面 VAE 的表征能力。
• 通过为每个子超球面引入独立的浓度参数，增强生成建模的灵活性与解耦性。
• 在基准图像数据集上对方法进行实证验证，证明其在对数似然和重构性能方面的优势。
• 表明产品空间结构可缓解‘超球面瓶颈’问题，同时不牺牲模型简洁性。

提出的方法

• 该方法将潜在空间 $\mathcal{S}_M$ 分解为 $k+1$ 个独立的子超球面 $\mathcal{S}_{M_0} \times \cdots \times \mathcal{S}_{M_k}$，其中 $\sum M_i = M$。
• 每个子超球面使用具有独立浓度参数 $\kappa_i$ 的冯·米塞斯-费雪分布建模，提升各维度的灵活性。
• 联合先验与后验分布被因子分解为 $p(\mathbf{z}) = \prod_i p(\mathbf{z}_i)$ 和 $q(\mathbf{z}|\mathbf{x}) = \prod_i q(\mathbf{z}_i|\mathbf{x})$，假设条件独立。
• KL 散度分解为 $\mathrm{KL}(q(\mathbf{z}|\mathbf{x})||p(\mathbf{z})) = \sum_i \mathrm{KL}(q(\mathbf{z}_i|\mathbf{x})||p(\mathbf{z}_i))$，从而实现高效优化。
• 模型通过重参数化梯度的变分推断进行训练，利用 vMF 分布的可计算归一化常数及贝塞尔函数。
• 在 MNIST、Caltech-101 和 Omniglot 数据集上使用对数似然、重构误差和 KL 散度作为评估指标进行评估。

实验结果

研究问题

• RQ1 产品空间结构的超球面组件能否使 VAE 的表达能力超越单一 vMF 分布？
• RQ2 引入各子空间浓度参数是否能缓解高维潜在空间中的‘超球面瓶颈’？
• RQ3 与标准高斯 VAE 和单一切超球面 vMF VAE 相比，该产品空间 vMF VAE 在对数似然和特征解耦方面表现如何？
• RQ4 子超球面能否在图像数据中学习到语义上合理且解耦的可变因素？
• RQ5 在模型性能方面，子超球面数量与浓度参数之间存在怎样的最优权衡？

主要发现

• 在 MNIST 上，产品空间 vMF VAE 的对数似然达到 -92.50，优于最佳单一切 $\mathcal{S}_m$-VAE 的 -96.32。
• 在 Caltech-101 上，模型对数似然达到 -139.84，显著优于单一切 $\mathcal{S}_m$-VAE 的 -143.49。
• 在 Omniglot 上，产品空间模型实现 -112.58 的对数似然，超过单一切 $\mathcal{S}_m$-VAE 的 -113.83。
• 模型展现出更优的解耦性，特定子超球面控制如笔画粗细等语义属性，插值可视化结果清晰呈现。
• 与标准 vMF 和高斯 VAE 相比，该方法在高维设置下表现出更低的重构误差和更稳定的训练过程。
• 消融研究证实，增加子超球面数量和浓度参数可提升性能，其中 $[\mathcal{S}_7]_{\times 5} \times \mathcal{S}_5$ 在所有数据集上均取得优异结果。