[论文解读] Metrics Between Probability Distributions on Finite Sets of Different Cardinalities by Maximizing Mutual Information (MMI)

M. Vidyasagar|arXiv (Cornell University)|Apr 23, 2011

Advanced Data Compression Techniques被引用 2

一句话总结

该论文提出了一种新颖的度量方法，用于比较不同基数的有限集合上的概率分布，通过最小化保持边缘分布的联合分布的熵来实现。该方法利用互信息最大化，并提供一种贪心算法，以高效计算距离的上界，从而实现对i.i.d.随机过程的降阶近似，且保真度损失最小。

ABSTRACT

With increasing use of digital control it is natural to view control inputs and outputs as stochastic processes assuming values over finite alphabets rather than in a Euclidean space. As control over networks becomes increasingly common, data compression by reducing the size of the input and output alphabets without losing the fidelity of representation becomes relevant. This requires us to define a notion of distance between two stochastic processes assuming values in distinct sets, possibly of different cardinalities. If the two processes are i.i.d., then the problem becomes one of defining a metric between two probability distributions over distinct finite sets of possibly different cardinalities. This is the problem addressed in the present paper. A metric is defined in terms of a joint distribution on the product of the two sets, which has the two given distributions as its marginals, and has minimum entropy. Computing the metric exactly turns out to be NP-hard. Therefore an efficient greedy algorithm is presented for finding an upper bound on the distance. This problem also turns out to be NP-hard, so again a greedy algorithm is constructed for finding a suboptimal reduced order approximation. Taken together, all the results presented here permit the approximation of an i.i.d. process over a set of large cardinality by another i.i.d. process over a set of smaller cardinality. In future work, attempts will be made to extend this work to Markov processes over finite sets.

研究动机与目标

• 定义在不同基数的有限集合上概率分布之间有意义的距离概念，特别是在数字控制和数据压缩的背景下。
• 解决在用较小字母表上的简化过程近似大字母表上的随机过程时，保持保真度的挑战。
• 开发一种高效的计算方法来估计该距离，因为精确计算是NP难的。
• 提供一种次优但计算上可行的i.i.d.过程在有限集合上的降阶近似方法。
• 为未来工作将该框架扩展至马尔可夫过程奠定基础。

提出的方法

• 将两个在不同有限集合上的概率分布之间的距离定义为具有这些边缘分布的任意联合分布的最小熵。
• 将距离计算表述为一个优化问题，即在边缘约束下最大化互信息。
• 使用贪心算法计算距离的上界，因为精确计算是NP难的。
• 构建第二个贪心算法，以在大集合上找到i.i.d.过程的次优降阶近似，通过在较小集合上的过程实现。
• 确保度量中使用的联合分布作为约束，保持原始边缘分布。
• 利用信息论原理，特别是熵和互信息，来定义和计算该度量。

实验结果

研究问题

• RQ1 如何在不同基数的有限集合上的概率分布之间定义度量？
• RQ2 计算所提度量的计算复杂度是什么？能否高效地进行近似？
• RQ3 该度量能否用于通过小字母表上的过程，构造大字母表上i.i.d.过程的降阶近似？
• RQ4 在此框架中，近似保真度与计算复杂度之间的权衡是什么？
• RQ5 该方法在多大程度上可以扩展到具有记忆的马尔可夫过程？

主要发现

• 所提出的度量定义为具有给定边缘分布的任意联合分布的最小熵，这对应于最大化互信息。
• 证明该度量的精确计算是NP难的，因此需要近似技术。
• 开发了一种贪心算法来计算距离的上界，提供一种实用的近似方法。
• 构建了第二个贪心算法，以在大集合上找到i.i.d.过程的次优降阶近似，通过在较小集合上的过程实现。
• 该框架实现了对大字母表上随机过程的有损压缩，同时保持统计保真度。
• 结果为未来将该框架扩展至马尔可夫过程奠定了基础，表明其在联网控制和数据压缩领域具有更广泛的应用潜力。