[论文解读] Information Theory Measures via Multidimensional Gaussianization

Valero Laparra, J. Emmanuel Johnson+3 more|arXiv (Cornell University)|Oct 8, 2020

Gaussian Processes and Bayesian Inference参考文献 71被引用 4

一句话总结

本文提出了一种新颖的框架，用于通过多维高斯化估计信息论度量——微分熵、Kullback-Leibler散度和互信息。通过迭代去相关化和方差稳定化将数据转换为近似多元正态分布，该方法在各种分布和维度下实现了显著优于现有技术（如kNN、KDP和RBIG）的估计精度，尤其在高维设置下，其偏差和方差均表现更优。

ABSTRACT

Information theory is an outstanding framework to measure uncertainty, dependence and relevance in data and systems. It has several desirable properties for real world applications: it naturally deals with multivariate data, it can handle heterogeneous data types, and the measures can be interpreted in physical units. However, it has not been adopted by a wider audience because obtaining information from multidimensional data is a challenging problem due to the curse of dimensionality. Here we propose an indirect way of computing information based on a multivariate Gaussianization transform. Our proposal mitigates the difficulty of multivariate density estimation by reducing it to a composition of tractable (marginal) operations and simple linear transformations, which can be interpreted as a particular deep neural network. We introduce specific Gaussianization-based methodologies to estimate total correlation, entropy, mutual information and Kullback-Leibler divergence. We compare them to recent estimators showing the accuracy on synthetic data generated from different multivariate distributions. We made the tools and datasets publicly available to provide a test-bed to analyze future methodologies. Results show that our proposal is superior to previous estimators particularly in high-dimensional scenarios; and that it leads to interesting insights in neuroscience, geoscience, computer vision, and machine learning.

研究动机与目标

• 提高在高维和非高斯数据设置下信息论度量估计的准确性。
• 解决现有非参数估计器在小样本和高维区域中偏差和方差过高的问题。
• 开发一个统一的框架，利用多维高斯化技术稳定并提升估计性能。
• 评估该方法在包括高斯分布、均匀分布和学生t分布在内的多样化分布中的鲁棒性。
• 为机器学习和信号处理中的信息论分析提供一种实用且可扩展的解决方案。

提出的方法

• 使用快速ICA算法通过迭代去相关化和方差稳定化，将输入数据转换为多元正态分布。
• 对每个维度应用非线性变换，以实现单位方差并减少高阶依赖性。
• 利用解析公式，从未知高斯化数据中估计信息论量（熵、KL散度、互信息）。
• 通过多轮试验的集成平均来降低方差并提高鲁棒性。
• 与现有方法（RBIG、kNN、KDP、expF、vME及集成（Ens）方法）进行性能比较。
• 使用相对于解析真值的相对平均绝对误差（rMAE）评估结果。

实验结果

研究问题

• RQ1 所提出的基于高斯化的估计方法在熵估计方面，与现有非参数估计器相比，其偏差和方差表现如何？
• RQ2 该方法在估计高斯分布与重尾（学生t）分布之间的KL散度时表现如何？
• RQ3 在不同维度和分布假设下，该高斯化框架对互信息的估计精度如何？
• RQ4 该方法在不同样本大小和不断增加的数据维度下是否能保持低误差？
• RQ5 在非高斯、重尾和均匀分布的数据下，该方法的表现如何？

主要发现

• 在所有测试的分布和维度下，该方法的相对平均绝对误差（rMAE）显著低于所有基线方法。
• 在熵估计方面，该方法优于RBIG、kNN和KDP，尤其在高维（D=100）情况下，中等样本量下rMAE低于5%。
• 在高斯分布之间的KL散度估计中，即使调整均值或标准差，该方法的rMAE也保持在3%以下，优于kNN和KDP。
• 在高斯分布与多元学生t分布之间的KL散度估计中，该方法表现出稳定性能，rMAE在自由度ν=0.2至0.6范围内均低于4%。
• 在互信息估计中，该方法在高斯分布和重尾分布（ν=3,5,20）下均取得最低rMAE，尤其在D=50和D=100时表现尤为突出。
• 该方法的集成版本（Ens）进一步降低了方差，在五次独立试验中表现出色，置信区间紧密。