[论文解读] Expected path length on random manifolds

David Eklund, Søren Hauberg|arXiv (Cornell University)|Aug 20, 2019

Gaussian Processes and Bayesian Inference参考文献 29被引用 9

一句话总结

本文提出了一种对生成模型潜在空间中随机黎曼度量的确定性近似方法，实现了计算上可行、且重参数化不变的运算，如插值、距离计算和积分。其主要贡献在于对期望路径长度误差的紧密理论边界，这些边界在机器学习中常见的高维数据设置下尤为精确。

ABSTRACT

Manifold learning seeks a low dimensional representation that faithfully captures the essence of data. Current methods can successfully learn such representations, but do not provide a meaningful set of operations that are associated with the representation. Working towards operational representation learning, we endow the latent space of a large class of generative models with a random Riemannian metric, which provides us with elementary operators. As computational tools are unavailable for random Riemannian manifolds, we study deterministic approximations and derive tight error bounds on expected distances.

研究动机与目标

• 开发一种数学上严谨、可用于操作的潜在空间表示方法，支持插值、距离计算和积分。
• 解决标准非线性流形学习和VAE类模型中缺乏不变且有意义的几何运算的问题。
• 为直接处理随机黎曼流形（缺乏成熟计算工具）提供一种计算上可行的替代方案。
• 确保几何运算在潜在空间的光滑重参数化下保持不变，从而解决基于欧氏度量的模糊性问题。

提出的方法

• 为生成模型 $x = f(z)$ 的潜在空间赋予一个由生成函数 $f$ 的雅可比矩阵导出的随机黎曼度量。
• 通过计算其期望，对随机度量进行确定性近似，从而可使用标准黎曼几何工具。
• 利用雅可比矩阵分布的均值和方差，推导出在随机度量下两点间期望测地线路径长度的紧密误差边界。
• 将该框架应用于高斯过程潜在变量模型（GPLVMs），其中映射函数的后验均值和协方差具有解析可计算性。
• 利用非中心Wishart分布的性质，刻画GPLVM后验中期望度量张量的特性。
• 通过图像旋转数据的实验验证，比较随机近似与确定性近似下的期望路径长度。

实验结果

研究问题

• RQ1 对潜在空间中随机黎曼度量的确定性近似能否在高精度下保持期望路径长度？
• RQ2 在高维生成模型中，期望路径长度的近似误差如何随数据维度变化？
• RQ3 所提出的方法在多大程度上能确保几何运算在潜在空间的光滑重参数化下保持不变？
• RQ4 该框架能否在生成模型的潜在空间中支持有意义且不变的运算，如插值和距离计算？
• RQ5 真实随机黎曼流形上的期望路径长度与其确定性近似之间的理论误差边界是什么？

主要发现

• 对随机黎曼度量的确定性近似在期望路径长度误差上给出了紧密边界，且该边界在数据维度 $n$ 上呈 $O(1/n)$ 的量级，其中 $n$ 为生成模型的输出维度。
• 在高维设置下，该误差边界尤为紧密，这在现代机器学习应用（如图像和信号建模）中十分典型。
• 在旋转图像数据上的实证评估显示，理论误差边界与观察到的期望路径长度相对误差高度一致。
• 该近似在光滑重参数化下保持不变，解决了VAE等模型中潜在空间欧氏度量的模糊性问题。
• 对于具有线性先验核 $K(p,q) = p^T q$ 的GPLVM，期望度量为常数，意味着平均流形是平坦的，测地线为直线。
• 该框架使标准黎曼几何工具可用于计算，从而在实践中使操作表示学习成为可能。