[论文解读] Gaussian Lower Bound for the Information Bottleneck Limit

Amichai Painsky, Naftali Tishby|arXiv (Cornell University)|Nov 7, 2017

Distributed Sensor Networks and Detection Algorithms参考文献 21被引用 5

一句话总结

本文通过非线性变换最大化任意数据的联合高斯分量，提出了一种信息瓶颈（IB）曲线的高斯下界，实现了高效且可解析计算的类似IB的表征学习。该方法优于朴素高斯化方法，且其上界为非线性CCA，揭示了仅通过二阶统计量线性化非高斯数据的根本限制。

ABSTRACT

The Information Bottleneck (IB) is a conceptual method for extracting the most compact, yet informative, representation of a set of variables, with respect to the target. It generalizes the notion of minimal sufficient statistics from classical parametric statistics to a broader information-theoretic sense. The IB curve defines the optimal trade-off between representation complexity and its predictive power. Specifically, it is achieved by minimizing the level of mutual information (MI) between the representation and the original variables, subject to a minimal level of MI between the representation and the target. This problem is shown to be in general NP hard. One important exception is the multivariate Gaussian case, for which the Gaussian IB (GIB) is known to obtain an analytical closed form solution, similar to Canonical Correlation Analysis (CCA). In this work we introduce a Gaussian lower bound to the IB curve; we find an embedding of the data which maximizes its "Gaussian part", on which we apply the GIB. This embedding provides an efficient (and practical) representation of any arbitrary data-set (in the IB sense), which in addition holds the favorable properties of a Gaussian distribution. Importantly, we show that the optimal Gaussian embedding is bounded from above by non-linear CCA. This allows a fundamental limit for our ability to Gaussianize arbitrary data-sets and solve complex problems by linear methods.

研究动机与目标

• 为解决任意连续非高斯数据的IB曲线近似问题，该问题通常难以处理。
• 通过最大化数据的“高斯部分”，开发一种实用且理论基础扎实的线性方法表征复杂数据。
• 通过所提出的高斯下界，建立仅通过二阶统计量可捕获信息量的根本限制。
• 通过AGCE方法引入更紧致、数据自适应的下界，改进现有边界（如Cardoso的信息几何边界）。

提出的方法

• 该方法旨在寻找变换 $\phi(\underline{X})$ 和 $\psi(\underline{Y})$，在保持 $\underline{X}$ 与 $\underline{Y}$ 之间互信息的前提下，最大化其联合高斯性。
• 对变换后的变量 $\underline{U} = \phi(\underline{X})$ 和 $\underline{V} = \psi(\underline{Y})$ 应用高斯IB（GIB），利用典型相关分析（CCA）求解GIB的闭式解。
• 通过交替条件期望（ACE）算法推导最优变换，以在高斯性约束下最大化相关性。
• 该方法被形式化为IB曲线的下界，当数据的非线性依赖关系能被二阶统计量良好捕捉时，该下界最紧。
• 通过反向退火和离散化（高斯求积）对连续设定下的数值近似进行验证。
• 理论分析表明，该下界受非线性CCA上界限制，揭示了高斯化与信息保持之间的根本权衡。

实验结果

研究问题

• RQ1 我们能否构建一个对任意非高斯数据既可解析处理又具信息量的IB曲线下界？
• RQ2 在高斯化表征中，最多能保留多少信息？其限制因素是什么？
• RQ3 所提出的高斯下界相较于朴素高斯化（即直接对原始数据应用GIB）的性能如何？
• RQ4 所提边界与非线性典型相关分析之间存在何种理论关系？
• RQ5 在仅使用二阶统计量的前提下，非线性依赖关系能被多大程度捕捉？其根本限制是什么？

主要发现

• 所提出的高斯下界在高度非高斯设定（如指数分布和高斯混合模型）下，始终优于朴素高斯化（即直接对原始数据应用GIB）。
• 该下界在低复杂度（高度压缩）表征中最为紧致，此时退化且类似高斯的结构更容易被恢复。
• 该方法揭示，高斯化表征中可实现的最大信息量根本上受限于 $\underline{X}$ 与 $\underline{Y}$ 之间的非线性典型相关系数。
• 所提边界优于Cardoso的信息几何边界，证明了基于AGCE方法构建数据自适应高斯近似的优越性。
• 该方法在连续IB近似中展现出实际效用，即使真实IB曲线难以计算，也能提供有意义的基准。
• 理论分析确认，该边界受非线性CCA上界限制，确立了仅通过二阶统计量线性化非线性问题的根本限制。