[论文解读] Max-Sliced Mutual Information

Dor Tsur, Ziv Goldfeld+1 more|arXiv (Cornell University)|Sep 28, 2023

Neural Networks and Applications被引用 6

一句话总结

本文提出了最大切片互信息（mSMI），这是一种可扩展的信息论泛化方法，作为典型相关分析（CCA）的推广，通过最大化高维变量低维线性投影之间的互信息，捕捉复杂非线性依赖关系。mSMI通过使用神经网络估计方法实现非渐近误差界，在保持计算效率的同时，能够捕捉非线性依赖关系，在表示学习、公平性和生成建模任务中表现优于现有方法，且计算开销极低。

ABSTRACT

Quantifying the dependence between high-dimensional random variables is central to statistical learning and inference. Two classical methods are canonical correlation analysis (CCA), which identifies maximally correlated projected versions of the original variables, and Shannon's mutual information, which is a universal dependence measure that also captures high-order dependencies. However, CCA only accounts for linear dependence, which may be insufficient for certain applications, while mutual information is often infeasible to compute/estimate in high dimensions. This work proposes a middle ground in the form of a scalable information-theoretic generalization of CCA, termed max-sliced mutual information (mSMI). mSMI equals the maximal mutual information between low-dimensional projections of the high-dimensional variables, which reduces back to CCA in the Gaussian case. It enjoys the best of both worlds: capturing intricate dependencies in the data while being amenable to fast computation and scalable estimation from samples. We show that mSMI retains favorable structural properties of Shannon's mutual information, like variational forms and identification of independence. We then study statistical estimation of mSMI, propose an efficiently computable neural estimator, and couple it with formal non-asymptotic error bounds. We present experiments that demonstrate the utility of mSMI for several tasks, encompassing independence testing, multi-view representation learning, algorithmic fairness, and generative modeling. We observe that mSMI consistently outperforms competing methods with little-to-no computational overhead.

研究动机与目标

• 为解决经典CCA仅能捕捉线性依赖关系的局限性，以及高维下互信息难以估计的问题。
• 开发一种依赖度量方法，结合CCA的可扩展性与互信息的表达能力，以捕捉复杂非线性依赖关系。
• 提供一种理论基础坚实、计算高效的非线性CCA变体替代方案，优于如核CCA和深度CCA等现有方法。
• 通过具备形式化误差界约束的神经估计器，使mSMI在表示学习、公平性和生成建模等实际应用中得以实用化。
• 确立mSMI作为CCA的自然信息论推广，当数据为联合高斯分布时，其退化为经典CCA。

提出的方法

• 将mSMI定义为两个高维随机变量投影之间互信息的上确界，使用来自Stiefel流形的正交投影矩阵。
• 利用Donsker-Varadhan变分形式构建神经估计器，通过梯度学习联合优化投影与判别函数。
• 提出一种单一神经网络架构，将线性投影与神经判别器组合，以高效估计mSMI。
• 建立非渐近误差界，其量级为 $ O(k^{1/2}( ho^{-1/2} + kn^{-1/2})) $，当神经元数量 $ \ell $ 等于样本量 $ n $ 时达到参数化速率。
• 将mSMI应用于多视图表示学习、通过瓶颈优化实现的公平性建模，以及使用mSMI正则化的InfoGAN生成建模。
• 证明mSMI可退化为CCA：在联合高斯分布下，最优投影与CCA解一致。

(a) FashionMNIST

实验结果

研究问题

• RQ1 能否设计一种依赖度量，其表达能力如互信息般完整捕捉非线性依赖，同时保持计算可扩展性？
• RQ2 在非高斯设置下，最大化低维投影上的互信息是否能获得优于基于相关性的CCA的表示？
• RQ3 mSMI的神经估计器能否实现随样本量和网络宽度有利缩放的非渐近误差界？
• RQ4 在独立性检验、公平性与解耦表示学习等任务中，mSMI相较于现有方法表现如何？
• RQ5 投影维数 $ k $ 与数据分布的内在维数之间存在何种关系？

主要发现

• mSMI在多视图表示学习、独立性检验、算法公平性与生成建模任务中持续优于现有方法，且计算开销极低。
• 在US人口普查人口统计数据集上，当 $ k > 1 $ 时，mSMI学习到的表示比SOTA方法'Slice'更公平，同时保持与无公平性基线相当的性能。
• mSMI的神经估计器实现了非渐近误差界，其量级为 $ O(k^{1/2}( ho^{-1/2} + kn^{-1/2})) $，当 $ \ell = n $ 时达到参数化速率，表明其具有强大可扩展性。
• 在生成建模中，最大切片InfoGAN成功实现潜在码的解耦（如MNIST数据集上的数字类别），性能与先前方法相当，且因采用低维投影而参数量更少。
• 当 $ (X,Y) $ 为联合高斯分布时，mSMI退化为经典CCA，确立其作为CCA的自然信息论推广。
• 该方法在实验中表现出强鲁棒性：当 $ k=1 $ 时，mSMI在多种任务中均表现优异，表明其是现有依赖度量的通用且高效替代方案。

(b) MNIST, $k=5$