[论文解读] Maximizing Multi-Information

Nihat Ay, Andreas Knauf|arXiv (Cornell University)|Feb 1, 2007

Computability, Logic, AI Algorithms被引用 36

一句话总结

本文研究了多信息（multi-information）在概率分布中作为随机依赖性度量的极大化问题，通过分析全局极大化器的结构，证明了纯成对相互作用的指数族在其闭包中包含了所有多信息的全局极大化器，为玻尔兹曼机和神经网络等模型提供了几何与信息论基础。

ABSTRACT

Stochastic interdependence of a probablility distribution on a product space is measured by its Kullback-Leibler distance from the exponential family of product distributions (called multi-information). Here we investigate low-dimensional exponential families that contain the maximizers of stochastic interdependence in their closure. Based on a detailed description of the structure of probablility distributions with globally maximal multi-information we obtain our main result: The exponential family of pure pair-interactions contains all global maximizers of the multi-information in its closure.

研究动机与目标

• 理解全局极大化多信息的概率分布的几何结构。
• 确定低维指数族是否能够捕捉所有随机依赖性的全局极大化器。
• 为神经网络和玻尔兹曼机中的Infomax原理建立理论基础。
• 分析指数族在相对于产品分布的Kullback-Leibler散度极大化器闭包性质方面的特性。

提出的方法

• 使用Kullback-Leibler散度（相对熵）将依赖性量化为与产品分布指数族的距离。
• 应用信息几何研究包含多信息全局极大化器的指数族的闭包性质。
• 构建一个在纯成对相互作用指数族中的分布序列，使其收敛于任意全局极大化器。
• 通过将函数正交投影到相互作用势能的线性子空间上，生成收敛序列。
• 使用吉布斯测度和由仿射子空间诱导的指数族来建模具有特定相互作用结构的分布。
• 通过参数化势能逼近极大化器分布的极限，分析其支撑结构与收敛行为。

实验结果

研究问题

• RQ1 能否用低维指数族近似多信息的全局极大化器？
• RQ2 纯成对相互作用在实现最大随机依赖性中起何种结构作用？
• RQ3 极大化器的支撑结构如何与指数族的闭包性质相关联？
• RQ4 纯成对相互作用的指数族是否足以在其闭包中包含所有多信息的全局极大化器？
• RQ5 在神经网络模型背景下，此类族的闭包具有何种几何与信息论意义？

主要发现

• 纯成对相互作用的指数族在其闭包中包含了所有多信息的全局极大化器。
• 对于任意全局极大化器 $ p $，存在一个在纯成对相互作用指数族中的序列收敛于 $ p $。
• 即使极大化器严格不在该族中（例如确定性分布 $ \frac{1}{2}(\delta_{(0,0)} + \delta_{(1,1)}) $），其闭包仍包含这些极大化器。
• 收敛通过参数化势能 $ E^{(m)} = -\beta_m(\sum a_i \phi_i - b)^2 $ 实现，其中 $ \beta_m \uparrow \infty $，确保在极大化器支撑集上的渐近集中。
• 纯成对相互作用族的维数为 $ (n_N - 1) \sum_{i=1}^{N-1} (n_i - 1) $，与这类相互作用的预期自由度一致。
• 该构造依赖于将函数正交投影到成对相互作用势能子空间上，确保对应的吉布斯测度收敛于目标极大化器。