[论文解读] Estimating Total Correlation with Mutual Information Bounds

Pengyu Cheng, Weituo Hao+1 more|arXiv (Cornell University)|Oct 19, 2020

Gaussian Processes and Bayesian Inference参考文献 25被引用 4

一句话总结

本文通过将总相关性（TC）重新表述为互信息（MI）项的总和，提出了一种基于样本的变分估计方法，使得在无法获得闭式分布时也能实现精确估计。该方法利用两种基于互信息的分解路径，在多种模拟场景中展示了改进的准确性和稳定性，实现了有效的TC估计。

ABSTRACT

Total correlation (TC) is a fundamental concept in information theory to measure the statistical dependency of multiple random variables. Recently, TC has shown effectiveness as a regularizer in many machine learning tasks when minimizing/maximizing the correlation among random variables is required. However, to obtain precise TC values is challenging, especially when the closed-form distributions of variables are unknown. In this paper, we introduced several sample-based variational TC estimators. Specifically, we connect the TC with mutual information (MI) and constructed two calculation paths to decompose TC into MI terms. In our experiments, we estimated the true TC values with the proposed estimators in different simulation scenarios and analyzed the properties of the TC estimators.

研究动机与目标

• 解决当随机变量的闭式分布未知时估计总相关性（TC）的挑战。
• 开发可靠、基于样本的TC估计方法，以支持其在机器学习中作为正则化项的应用。
• 建立TC与互信息（MI）之间的联系，以实现基于分解的估计。
• 在多种模拟设置下评估所提估计方法的性能与鲁棒性。

提出的方法

• 通过两种不同的分解路径，将总相关性（TC）重新表述为互信息（MI）项的总和。
• 利用变分推断，通过数据分布的样本近似MI项。
• 在分解后的TC框架中，利用不同的MI估计技术构建两种基于样本的估计方法。
• 将估计方法应用于具有已知TC值的模拟数据，以验证其准确性和收敛性。
• 采用不同的网络架构和训练方案，评估其在不同场景下的稳定性和泛化能力。
• 与基线方法进行比较，评估在偏差和方差方面的性能表现。

实验结果

研究问题

• RQ1 总相关性能否被有效分解为互信息项，以支持基于样本的估计？
• RQ2 在缺乏闭式分布的情况下，所提出的基于MI的估计方法在多大程度上能准确恢复真实的TC值？
• RQ3 两种分解路径在估计TC时的相对优势与劣势是什么？
• RQ4 所提出的估计方法在不同数据分布和样本规模下的表现如何？

主要发现

• 所提出的估计方法在各种模拟场景中均能实现对总相关性的精确估计，即使真实分布未知。
• 通过两种互信息项分解路径得到的TC估计结果稳定且一致，偏差较低。
• 基于样本的方法在收敛性和估计准确性方面优于基线方法。
• 该方法对不同数据分布和样本规模均表现出鲁棒性，证实了其泛化能力。