[论文解读] Monte Carlo Information Geometry: The dually flat case

Frank Nielsen, Gaëtan Hadjeres|arXiv (Cornell University)|Mar 20, 2018

Statistical Mechanics and Entropy参考文献 32被引用 9

一句话总结

本文提出了蒙特卡洛信息几何（MCIG），这是一种在指数族和混合族中计算可行的双重平坦信息几何框架，适用于精确Bregman生成元因复杂积分而难以计算的情形。通过使用独立同分布样本的随机蒙特卡洛积分近似基于积分的生成元，MCIG确保了几乎必然的严格凸性，并支持实际Bregman算法的应用，已在混合族流形上的聚类任务中得到验证。

ABSTRACT

Exponential families and mixture families are parametric probability models that can be geometrically studied as smooth statistical manifolds with respect to any statistical divergence like the Kullback-Leibler (KL) divergence or the Hellinger divergence. When equipping a statistical manifold with the KL divergence, the induced manifold structure is dually flat, and the KL divergence between distributions amounts to an equivalent Bregman divergence on their corresponding parameters. In practice, the corresponding Bregman generators of mixture/exponential families require to perform definite integral calculus that can either be too time-consuming (for exponentially large discrete support case) or even do not admit closed-form formula (for continuous support case). In these cases, the dually flat construction remains theoretical and cannot be used by information-geometric algorithms. To bypass this problem, we consider performing stochastic Monte Carlo (MC) estimation of those integral-based mixture/exponential family Bregman generators. We show that, under natural assumptions, these MC generators are almost surely Bregman generators. We define a series of dually flat information geometries, termed Monte Carlo Information Geometries, that increasingly-finely approximate the untractable geometry. The advantage of this MCIG is that it allows a practical use of the Bregman algorithmic toolbox on a wide range of probability distribution families. We demonstrate our approach with a clustering task on a mixture family manifold.

研究动机与目标

• 解决由于复杂积分导致的指数族和混合族中Bregman生成元计算不可行的问题。
• 在闭式生成元不可用的统计流形上，实现基于Bregman算法（如k-means）的实际应用。
• 通过蒙特卡洛近似，开发一致、可扩展且可分布的信息几何计算框架。
• 建立理论保证，证明MC估计的生成元在几乎必然意义下仍为有效的Bregman生成元。

提出的方法

• 通过从底层分布中独立同分布采样，使用蒙特卡洛采样近似指数族和混合族的基于积分的Bregman生成元。
• 将蒙特卡洛信息几何（MCIG）定义为基于随机Bregman生成元构建的双重平坦结构，确保几乎必然的严格凸性和可微性。
• 利用Bregman散度的组合性，通过MapReduce在多核或集群架构上实现并行与分布式计算。
• 使用加权算术平均（针对混合族）和指数平均（针对指数族）聚合来自独立样本集的子生成元。
• 在分布式环境中通过KL平均合并多个MCIG的参数，实现稳健估计。
• 通过证明在温和正则性条件下，MC生成的函数几乎必然为Bregman生成元，确保理论有效性。

实验结果

研究问题

• RQ1 蒙特卡洛采样能否可靠地近似指数族和混合族中难以计算的Bregman生成元？
• RQ2 由此产生的蒙特卡洛Bregman生成元是否保持Bregman算法所必需的双重平坦结构？
• RQ3 MCIG能否在多核或分布式架构上高效并行化与扩展？
• RQ4 随着样本量增加，MCIG向理想信息几何收敛的行为如何？
• RQ5 MCIG算法在准确性和效率之间的计算与统计权衡是什么？

主要发现

• 混合族的蒙特卡洛估计Bregman生成元几乎必然严格凸且可微，确保了有效的双重平坦几何结构。
• 指数族的蒙特卡洛估计Bregman生成元也几乎必然严格凸且可微，支持算法应用。
• MCIG通过MapReduce支持并行与分布式计算，其中混合族生成元以子生成元的加权算术平均计算，指数族生成元以子生成元的指数平均计算。
• MCIG框架支持在混合族流形上实现实际的Bregman k-means聚类，展示了其在现实任务中的实用性。
• 理论收敛保证成立：随着样本量增加，MCIG结构渐近逼近理想且难以计算的信息几何。
• 该方法在分布式计算中保持稳健，通过KL平均聚合参数，可在多个MCIG实例间实现一致估计。