[论文解读] Harmonic Exponential Families on Manifolds

Taco Cohen, Max Welling|UvA-DARE (University of Amsterdam)|May 17, 2015

Gaussian Processes and Bayesian Inference参考文献 20被引用 12

一句话总结

本文通过利用非交换调和分析和广义快速傅里叶变换（FFT），提出了调和指数族——一种在球面和旋转群等流形上灵活且可计算的概率模型，实现了高效的最大似然估计与贝叶斯推断。该方法在训练速度上比现有模型快数个数量级，同时在对数似然值上显著优于竞争模型（如Kent混合模型），且通过凸优化确保全局收敛。

ABSTRACT

In a range of fields including the geosciences, molecular biology, robotics and computer vision, one encounters problems that involve random variables on manifolds. Currently, there is a lack of flexible probabilistic models on manifolds that are fast and easy to train. We define an extremely flexible class of exponential family distributions on manifolds such as the torus, sphere, and rotation groups, and show that for these distributions the gradient of the log-likelihood can be computed efficiently using a non-commutative generalization of the Fast Fourier Transform (FFT). We discuss applications to Bayesian camera motion estimation (where harmonic exponential families serve as conjugate priors), and modelling of the spatial distribution of earthquakes on the surface of the earth. Our experimental results show that harmonic densities yield a significantly higher likelihood than the best competing method, while being orders of magnitude faster to train.

研究动机与目标

• 开发适用于球面和旋转群等流形上随机变量的灵活且可计算的概率模型。
• 解决在紧致李群和齐次空间上高维指数族缺乏高效训练方法的问题。
• 利用广义FFT算法实现在流形上的高效最大似然估计与贝叶斯推断。
• 在真实世界数据（如地震分布）建模中，相比现有方法展示出更优性能。
• 建立调和指数族作为贝叶斯变换估计问题中的共轭先验。

提出的方法

• 本文在紧致李群和齐次空间上，利用广义傅里叶基函数（类比正弦函数）定义调和指数族。
• 采用非交换调和分析，将充分统计量和模型密度表示为群表示的形式。
• 通过广义FFT算法高效计算矩映射和对数归一化常数，实现快速最大似然估计。
• 在贝叶斯推断中，利用当似然函数为高斯分布时调和密度的共轭性，通过FFT实现后验分布的闭式更新。
• 通过另一次FFT计算后验的MAP估计，以高效定位全局众数。
• 该方法在SO(2)、SO(3)、S¹和S²上实现，即使在数万个参数规模下也能实现可扩展训练。

实验结果

研究问题

• RQ1 我们能否构建一类在流形上既表达能力强又可高效训练的指数族分布？
• RQ2 广义FFT算法能否用于计算紧致李群上指数族的对数归一化常数和矩映射？
• RQ3 调和指数族在流形结构数据上的似然值和训练速度是否优于混合模型？
• RQ4 调和指数族能否在贝叶斯变换估计问题中作为共轭先验？
• RQ5 对数似然目标函数的凸性如何影响高维设置下的优化性能与收敛性？

主要发现

• 在5折交叉验证中，调和密度的平均测试对数似然值达到+0.3，显著优于Kent混合模型（KMM）的-0.37。
• 仅使用440个参数（截断带宽L=20）时，调和密度的对数似然值为-0.28，优于KMM的-0.37，且参数更少。
• 调和密度的训练速度比KMM快数个数量级，而KMM在超过70个分量后因需多次重启而变得不可行。
• 调和密度的对数似然函数是凸的，通过L-BFGS算法在20至100次迭代内即可实现全局收敛。
• 由于带宽有限，对数空间中存在轻微振铃效应，但幅度极小（约10⁻³），不影响实际性能。
• 调和密度倾向于更重的尾部，可能更符合真实世界数据（如地震空间分布）的特性。