[论文解读] Data-Efficient Mutual Information Neural Estimator

Lin Xiao, Indranil Sur+4 more|arXiv (Cornell University)|May 8, 2019

Functional Brain Connectivity Studies参考文献 47被引用 7

一句话总结

该论文提出 DEMINE，一种数据高效的互信息神经估计器，通过引入预测变分下界和任务增强的元学习，提升了互信息估计中的样本效率。该方法在低数据环境下实现了可靠的依赖性统计检验，已在合成数据和真实 fMRI 数据集上验证，相比 MINE 在泛化能力上有所提升且过拟合现象减少。

ABSTRACT

Measuring Mutual Information (MI) between high-dimensional, continuous, random variables from observed samples has wide theoretical and practical applications. Recent work, MINE (Belghazi et al. 2018), focused on estimating tight variational lower bounds of MI using neural networks, but assumed unlimited supply of samples to prevent overfitting. In real world applications, data is not always available at a surplus. In this work, we focus on improving data efficiency and propose a Data-Efficient MINE Estimator (DEMINE), by developing a relaxed predictive MI lower bound that can be estimated at higher data efficiency by orders of magnitudes. The predictive MI lower bound also enables us to develop a new meta-learning approach using task augmentation, Meta-DEMINE, to improve generalization of the network and further boost estimation accuracy empirically. With improved data-efficiency, our estimators enables statistical testing of dependency at practical dataset sizes. We demonstrate the effectiveness of our estimators on synthetic benchmarks and a real world fMRI data, with application of inter-subject correlation analysis.

研究动机与目标

• 为解决在训练数据有限时，尤其是使用高容量神经网络时，互信息（MI）估计中过拟合的关键挑战。
• 通过采用基于预测性验证集划分的重构方法，重新表述 MINE 的变分下界，以提升变分 MI 估计的数据效率。
• 通过一种新颖的元学习框架 Meta-DEMINE，结合可逆变换的任务增强，提升 MI 估计的泛化能力。
• 实现在真实世界中数据稀缺的应用场景（如 fMRI 跨被试相关性（ISC）分析）中，实现依赖性的实用统计检验。
• 证明基于神经网络的 MI 估计在低数据环境下既可靠又具信息量，尤其适用于捕捉非线性脑-脑耦合。

提出的方法

• 通过显式划分训练集与验证集样本，提出一种松弛化的预测变分下界，以减少过拟合。
• 引入一种任务增强协议，通过输入数据的随机可逆变换生成多样化的少样本学习任务，用于元学习。
• 采用模型无关元学习（MAML）框架，学习一个在多种 MI 估计任务中均具有良好泛化能力的鲁棒初始化。
• 利用梯度幅值分析，解释哪些输入特征（如脑区）在学习到的 MI 估计器中最具影响力。
• 采用神经网络判别器 $T_\theta(x,z)$ 来估计 MI 下界，通过在预测下界上进行随机优化进行训练。
• 在 fMRI 数据上应用该估计器，使用 ISC 掩码检测跨被试之间非线性且时变的脑耦合。

实验结果

研究问题

• RQ1 预测形式的变分 MI 下界是否能显著提升神经网络 MI 估计中的数据效率？
• RQ2 通过任务增强的元学习如何减少过拟合并提升低数据 MI 估计中的泛化能力？
• RQ3 DEMINE 是否能可靠地检测真实 fMRI 数据中样本有限情况下的统计依赖性？
• RQ4 在数据稀缺条件下，该方法在合成数据集和真实数据集上的 MI 估计中是否优于标准 MINE？
• RQ5 哪些脑区对 MI 估计器所捕捉的跨被试脑耦合最具预测性？

主要发现

• DEMINE 仅使用 10 个 TR（15 秒）的扫描时间，即从 fMRI 数据中成功提取出 0.75 nats 的互信息，证明了其在低数据环境下的实际可用性。
• 该模型识别出听觉区域是 MI 估计中的关键贡献者，与 fMRI 任务中对故事感知的功能相关性一致。
• MI 估计器中的峰值激活与故事中的叙事事件（如关键人物登场或情节转折）相对应，表明其对注意力转移具有敏感性。
• Meta-DEMINE 有效减少过拟合并提升泛化能力，使在不同数据划分下 MI 估计更加稳定和准确。
• 预测性 MI 下界的形式使得在实际数据集规模下能够实现可靠的依赖性统计检验，克服了先前方法的局限性。
• 该方法在数据效率和估计精度方面优于标准 MINE，尤其在低样本和高维设置下表现更优。