[论文解读] k-Sliced Mutual Information: A Quantitative Study of Scalability with Dimension

Ziv Goldfeld, Kristjan Greenewald+2 more|arXiv (Cornell University)|Jun 17, 2022

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

本文提出了k-切片互信息（k-SMI），一种可扩展的依赖度量方法，通过将高维变量投影到k维子空间，对切片互信息进行了推广。该研究提供了蒙特卡洛估计误差的精确、与维度相关的界，并建立了神经估计器的最优收敛速率，揭示了在特定条件下，更高的维度可降低估计误差。

ABSTRACT

Sliced mutual information (SMI) is defined as an average of mutual information (MI) terms between one-dimensional random projections of the random variables. It serves as a surrogate measure of dependence to classic MI that preserves many of its properties but is more scalable to high dimensions. However, a quantitative characterization of how SMI itself and estimation rates thereof depend on the ambient dimension, which is crucial to the understanding of scalability, remain obscure. This work provides a multifaceted account of the dependence of SMI on dimension, under a broader framework termed $k$-SMI, which considers projections to $k$-dimensional subspaces. Using a new result on the continuity of differential entropy in the 2-Wasserstein metric, we derive sharp bounds on the error of Monte Carlo (MC)-based estimates of $k$-SMI, with explicit dependence on $k$ and the ambient dimension, revealing their interplay with the number of samples. We then combine the MC integrator with the neural estimation framework to provide an end-to-end $k$-SMI estimator, for which optimal convergence rates are established. We also explore asymptotics of the population $k$-SMI as dimension grows, providing Gaussian approximation results with a residual that decays under appropriate moment bounds. All our results trivially apply to SMI by setting $k=1$. Our theory is validated with numerical experiments and is applied to sliced InfoGAN, which altogether provide a comprehensive quantitative account of the scalability question of $k$-SMI, including SMI as a special case when $k=1$.

研究动机与目标

• 提供对k-切片互信息（k-SMI）在环境维度和投影维度k下扩展行为的定量分析。
• 通过推导依赖于k、d_x、d_y和样本量的显式、可验证的估计误差界，弥补先前关于SMI研究中的空白。
• 为端到端神经估计器提供k-SMI的正式收敛保证，并实现最优速率。
• 分析当维度增大时，总体k-SMI的渐近行为，提供残差衰减的高斯近似结果。
• 通过实证验证理论，并将其应用于切片InfoGAN，展示其实际可扩展性。

提出的方法

• 将k-SMI定义为在正交矩阵的Stiefel流形上，对X和Y的k维投影之间互信息的平均值。
• 基于HWI不等式，推导出微分熵在2-沃瑟斯坦度量下的新连续性结果，具有最优常数，并且比之前工作具有更弱的正则性假设。
• 利用投影互信息关于Stiefel流形上Frobenius范数的Lipschitz连续性，控制蒙特卡洛估计的方差。
• 建立MC估计误差界，其量级为O(√(k(1/d_x + 1/d_y)/m))，并显式依赖于协方差矩阵和费舍尔信息矩阵。
• 将MC积分与通用的k维变量互信息估计器结合，形成端到端的k-SMI估计器。
• 通过利用集中性和熵连续性来界定泛化误差，推导出神经估计器的最优收敛速率。

实验结果

研究问题

• RQ1 k-SMI的估计误差如何随环境维度d_x、d_y和投影维度k变化？
• RQ2 k、d_x、d_y与蒙特卡洛采样数m之间在决定估计精度方面存在何种相互作用？
• RQ3 是否可以使用神经网络以最优参数速率估计k-SMI，其收敛保证是什么？
• RQ4 当d_x和d_y增大时，总体k-SMI的渐近行为如何？其收敛到高斯近似的速率是什么？
• RQ5 增加k或维度是否能降低估计误差？在何种条件下成立？

主要发现

• k-SMI的蒙特卡洛估计误差量级为O(√(k(1/d_x + 1/d_y)/m))，其显式常数依赖于联合分布的协方差矩阵和费舍尔信息矩阵。
• 当k固定时，更高的环境维度可降低估计误差，这一非直观结果通过数值验证，源于界中1/d_x和1/d_y项的影响。
• 投影变量的微分熵关于Stiefel流形上的Frobenius范数具有Lipschitz连续性，从而实现MC估计中方差的控制。
• 在较弱的矩和正则性条件下，端到端神经估计器在k-SMI上实现了最优参数收敛速率。
• 在适当的矩界下，总体k-SMI具有高斯近似，其残差以O(1/√(d_x + d_y))的速率衰减。
• 当k=1时，所有结果退化为原始SMI情形，从而填补了先前关于SMI研究中的分析空白。