[论文解读] Faithful Heteroscedastic Regression with Neural Networks

Andrew Stirn, Hans‐Hermann Wessels+4 more|arXiv (Cornell University)|Dec 18, 2022

Gaussian Processes and Bayesian Inference被引用 6

一句话总结

本文提出了一种针对异方差神经网络回归的简单优化修改，确保其均值预测的准确性与仅预测均值的基线模型相当——实现‘忠实’的均值估计——同时实现最先进的方差校准。该方法基于修改负对数似然损失，易于实现，并且在建模异方差噪声时可证明地保持均值准确性。

ABSTRACT

Heteroscedastic regression models a Gaussian variable's mean and variance as a function of covariates. Parametric methods that employ neural networks for these parameter maps can capture complex relationships in the data. Yet, optimizing network parameters via log likelihood gradients can yield suboptimal mean and uncalibrated variance estimates. Current solutions side-step this optimization problem with surrogate objectives or Bayesian treatments. Instead, we make two simple modifications to optimization. Notably, their combination produces a heteroscedastic model with mean estimates that are provably as accurate as those from its homoscedastic counterpart (i.e.~fitting the mean under squared error loss). For a wide variety of network and task complexities, we find that mean estimates from existing heteroscedastic solutions can be significantly less accurate than those from an equivalently expressive mean-only model. Our approach provably retains the accuracy of an equally flexible mean-only model while also offering best-in-class variance calibration. Lastly, we show how to leverage our method to recover the underlying heteroscedastic noise variance.

研究动机与目标

• 解决通过负对数似然（NLL）优化进行标准异方差神经网络训练时，其均值估计准确性常劣于仅预测均值的基线模型的问题。
• 形式化并实现‘忠实性’——即异方差模型的均值估计与仅预测均值的子网络基线模型一样准确——同时不牺牲方差校准性能。
• 开发一种简单且计算高效的优化策略，保证忠实性，并提升回归任务中预测不确定性的可靠性。
• 通过可靠地估计异方差噪声方差，实现对预测方差中可变性（aleatoric）与认知性（epistemic）成分的准确分解。
• 在多种任务中展示该方法的有效性，包括CRISPR-Cas13疗效预测、图像自编码和标量回归。

提出的方法

• 该方法对标准NLL优化引入两项简单修改：(1) 移除所有非均值输出祖先的计算图组件，(2) 重新加权NLL损失以优先考虑均值估计。
• 修改后的损失函数确保均值网络参数的更新方式如同其独立训练一般，从而保持与仅预测均值模型的性能一致。
• 该方法等价于一种修改后的损失函数，其将均值与方差的优化过程解耦，便于在标准深度学习框架中实现。
• 该方法可证明地保证异方差模型的均值估计与其中仅预测均值的子网络一样准确，定义为‘忠实性’。
• 该方法可实现对异方差噪声方差的可靠估计，从而用于将总预测方差分解为可变性与认知性成分。
• 该方法被应用于回归和表征学习任务，包括使用共享主干网络与独立的均值头和方差头进行CRISPR-Cas13疗效预测。

实验结果

研究问题

• RQ1 是否可以对异方差神经网络进行优化，使其均值预测的准确性与具有相同架构的仅预测均值模型相当？
• RQ2 与仅预测均值的基线相比，标准NLL最小化在异方差模型中是否固有地降低均值估计性能？
• RQ3 是否可以通过简单的优化修改实现‘忠实性’——即均值准确性相等——同时提升方差校准性能？
• RQ4 该方法是否能可靠地恢复生物数据集中（如CRISPR-Cas13疗效）的序列依赖性异方差噪声方差？
• RQ5 在准确估计方差的基础上，该方法在多大程度上能将预测方差分解为可变性与认知性成分？

主要发现

• 所提出的方法实现了‘忠实’的均值估计，即其均值预测在数学上可证明地与同等表达能力的仅预测均值模型相当。
• 在所有测试任务中——从标量回归到图像自编码和CRISPR-Cas13疗效预测——该方法在均值准确性和方差校准之间实现了最佳平衡。
• 该方法在期望校准误差（ECE）上显著优于现有异方差模型，展现出更优的方差校准性能。
• 在CRISPR-Cas13数据集中，模型恢复了已知的引导序列偏好，并识别出更有效的引导序列表现出更高的测量噪声，表明存在序列依赖的异方差性。
• 该方法通过可靠估计底层异方差噪声方差，实现了对预测方差中可变性与认知性成分的准确分解。
• SHAP分析确认，模型的方差输出对序列特征敏感；原始与平均重复样本之间方差SHAP值的差异揭示了异方差性本身具有序列依赖性。