[论文解读] Minimal Achievable Sufficient Statistic Learning

Milan Cvitkovic, Günther Koliander|arXiv (Cornell University)|May 19, 2019

Face and Expression Recognition被引用 7

一句话总结

本文提出了最小可实现充分统计量（MASS）学习，一种新型的训练方法，旨在优化深度网络在给定函数类中学习最小充分统计量。该方法提出了保守微分互信息（CDI），一种信息论度量，可对确定性依赖的连续变量进行有意义的分析，并证明MASS训练的模型在监督学习和不确定性量化方面实现了具有竞争力的性能，同时保持了最小的信息损失。

ABSTRACT

We introduce Minimal Achievable Sufficient Statistic (MASS) Learning, a training method for machine learning models that attempts to produce minimal sufficient statistics with respect to a class of functions (e.g. deep networks) being optimized over. In deriving MASS Learning, we also introduce Conserved Differential Information (CDI), an information-theoretic quantity that - unlike standard mutual information - can be usefully applied to deterministically-dependent continuous random variables like the input and output of a deep network. In a series of experiments, we show that deep networks trained with MASS Learning achieve competitive performance on supervised learning and uncertainty quantification benchmarks.

研究动机与目标

• 为解决深度学习中学习最小充分统计量的挑战，其中标准互信息因在确定性连续映射中取值无穷大而失效。
• 开发一种理论基础扎实的信息论替代方法，以替代标准互信息，并在深度网络中具有实际意义。
• 设计一种训练目标，促使模型学习最小可实现充分统计量——即在实际假设类（如深度神经网络）中最小的函数。
• 通过原理化的表征学习，提升深度学习中的不确定性量化与泛化能力。

提出的方法

• 提出保守微分互信息（CDI），定义为 $ C(X,f(X)) = H(f(X)) - \mathbb{E}_X[\log J_f(X)] $，其中 $ J_f(X) $ 为网络变换的雅可比行列式。
• 将CDI作为核心信息论量，替代在确定性连续映射场景中标准互信息的使用。
• 提出MASS学习作为训练目标，其损失函数为 $ \mathcal{L}_{\text{MASS}} = H(Y|f(X)) + \beta H(f(X)) - \beta \mathbb{E}_X[\log J_f(X)] $，以平衡预测准确性、表征熵与非可逆性。
• 采用变分近似 $ q_\phi(f_\theta(x)|y) $ 来估计条件熵 $ H(Y|f(X)) $，实现可微分优化。
• 对优化问题应用拉格朗日松弛，导出一个可处理的目标函数，以在函数类内强制实现充分性与最小性。
• 使用重参数化技巧与蒙特卡洛估计，通过随机梯度下降实现端到端模型训练。

实验结果

研究问题

• RQ1 保守微分互信息（CDI）是否能在标准互信息发散的确定性连续深度网络中，提供一个有意义且有限的信息传递度量？
• RQ2 在基于CDI的损失下训练深度网络，是否能获得在深度神经网络类中作为最小充分统计量的表征？
• RQ3 与标准交叉熵训练及变分推理（VIB）相比，MASS学习在分类准确率、泛化能力与不确定性量化方面表现如何？
• RQ4 MASS学习在未显式建模不确定性的情况下，其对表征的隐式正则化程度如何，是否能提升不确定性校准？
• RQ5 最小与最小可实现充分统计量之间的区别，在深度学习性能中是否具有实际相关性？

主要发现

• MASS学习在CIFAR-10上实现了具有竞争力的测试准确率，最高测试准确率为 $ 50.2 \pm 1.0\% $，与标准交叉熵训练相当。
• 该方法显著提升了不确定性量化性能，当 $ \beta = 110^{-4} $ 时，$ \max_i q_\phi(f_\theta(x)|y_i) $ 的值为 $ \mathbf{0.72 \pm 0.08} $，表明预测不确定性的校准性更优。
• 与VIB和SoftmaxCE相比，MASS学习训练的模型在表征中熵更低（$ 0.48 \pm 0.04 $），雅可比行列式损失更高（$ \mathbf{0.66 \pm 0.09} $），表明其表征更具结构化与最小化特性。
• MASS学习中的损失分量——熵、雅可比行列式与条件熵——在训练过程中演化方式与标准交叉熵训练不同，表明其具有不同的归纳偏置。
• 尽管准确率相近，SoftmaxCE训练并未隐式执行MASS学习，这从训练过程中熵与雅可比项轨迹的显著差异中得到证实。
• 该方法在不确定性量化基准测试中表现优异，优于VIB与标准训练，在预测校准性与不确定性估计方面更具优势。