[论文解读] Measuring Dependence with Matrix-based Entropy Functional

Shujian Yu, Francesco Alesiani+3 more|arXiv (Cornell University)|Jan 25, 2021

Statistical Mechanics and Entropy参考文献 72被引用 6

一句话总结

本文提出两种可微分、分布自由的依赖度量——基于矩阵的归一化总相关性（$T_{\beta}^{*}$）与对偶总相关性（$D_{\beta}^{*}$）——通过基于矩阵的 R\'enyi $\alpha$-熵量化任意维度数据中的多元依赖关系。这些度量在统计功效上优于现有方法，并在基因网络推断、异常值检测、协变量偏移下的鲁棒学习以及卷积神经网络训练动态分析中实现了性能提升。

ABSTRACT

Measuring the dependence of data plays a central role in statistics and machine learning. In this work, we summarize and generalize the main idea of existing information-theoretic dependence measures into a higher-level perspective by the Shearer's inequality. Based on our generalization, we then propose two measures, namely the matrix-based normalized total correlation ($T_α^*$) and the matrix-based normalized dual total correlation ($D_α^*$), to quantify the dependence of multiple variables in arbitrary dimensional space, without explicit estimation of the underlying data distributions. We show that our measures are differentiable and statistically more powerful than prevalent ones. We also show the impact of our measures in four different machine learning problems, namely the gene regulatory network inference, the robust machine learning under covariate shift and non-Gaussian noises, the subspace outlier detection, and the understanding of the learning dynamics of convolutional neural networks (CNNs), to demonstrate their utilities, advantages, as well as implications to those problems. Code of our dependence measure is available at: https://bit.ly/AAAI-dependence

研究动机与目标

• 解决在无需显式密度估计的前提下，对高维数据中的多元依赖关系进行度量的挑战。
• 在 Shearer 不等式框架下统一并推广现有的信息论依赖度量，以获得更高层次的视角。
• 开发适用于深度学习中作为损失函数的可微分、可扩展的依赖度量。
• 在真实世界机器学习应用中展示所提度量的实用性，包括鲁棒学习与卷积神经网络训练动态分析。

提出的方法

• 利用基于矩阵的 R\'enyi $\alpha$-熵功能估计器，避免直接进行密度估计。
• 提出 $T_{\alpha}^{*}$ 作为基于 Shearer 不等式的多个随机向量之间总依赖性的归一化度量。
• 引入 $D_{\alpha}^{*}$ 作为捕捉协同依赖模式的归一化对偶总相关性度量。
• 确保两种度量的可微分性，以支持神经网络的端到端训练。
• 将度量应用于分析训练过程中卷积层中特征图的依赖关系。
• 将度量用作损失函数，以促进残差与输入之间的独立性，从而提升模型鲁棒性。

实验结果

研究问题

• RQ1 能否构建一个统一的、分布自由的框架，用于度量任意维度数据中的多元依赖关系？
• RQ2 与 HSIC 或 MINE 等现有依赖度量相比，所提出的度量 $T_{\alpha}^{*}$ 和 $D_{\alpha}^{*}$ 在统计功效上表现如何？
• RQ3 $T_{\alpha}^{*}$ 和 $D_{\alpha}^{*}$ 在基因调控网络推断与子空间异常值检测中的性能提升程度如何？
• RQ4 这些度量能否揭示卷积神经网络学习动态中的有意义模式，特别是训练过程中特征图依赖关系的变化？
• RQ5 将 $T_{\alpha}^{*}$ 用作损失函数，在缓解协变量偏移与非高斯噪声影响方面的有效性如何？

主要发现

• 所提出的 $T_{\alpha}^{*}$ 和 $D_{\alpha}^{*}$ 度量具备可微分性，且无需对底层概率密度进行显式估计。
• 在 Diabetes 数据集上，$T_{\alpha}^{*}$ 和 $D_{\alpha}^{*}$ 的 AUC 得分为 0.68，与最先进方法 LOF 的最佳表现相当。
• 在 Musk 数据集上，$D_{\alpha}^{*}$ 的 AUC 达到 0.83，优于所有基线方法，包括 LOF（0.42）和 FB（0.40）。
• 在子空间异常值检测中，$T_{\alpha}^{*}$ 和 $D_{\alpha}^{*}$ 在所有测试数据集中均达到最佳或第二佳性能。
• 在 CIFAR-10 上使用 VGG-16 训练时，$T_{\alpha}^{*}$ 在所有卷积层中从接近 0 单调递增至接近 1，表明特征图依赖性持续增强。
• 成对依赖性 $I_{\alpha}^{*}$ 的直方图显示，特征图依赖性从接近 0 上升至接近 1，低层网络在 20 个周期内即达到高依赖性，而高层网络则需超过 100 个周期。