[论文解读] Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions

Ahmed M. Alaa, Mihaela van der Schaar|ArXiv.org|Jun 20, 2020

Neural Networks and Applications被引用 6

一句话总结

本文提出了一种事后、频率学派的不确定性量化方法，用于循环神经网络（RNNs），通过分块影响函数估计预测区间，无需重新训练。通过在时间相关数据块上应用自助法重采样，并利用影响函数近似模型更新，该方法在保持多种RNN架构预测准确性的同时，实现了理论上的覆盖率保证。

ABSTRACT

Recurrent neural networks (RNNs) are instrumental in modelling sequential and time-series data. Yet, when using RNNs to inform decision-making, predictions by themselves are not sufficient; we also need estimates of predictive uncertainty. Existing approaches for uncertainty quantification in RNNs are based predominantly on Bayesian methods; these are computationally prohibitive, and require major alterations to the RNN architecture and training. Capitalizing on ideas from classical jackknife resampling, we develop a frequentist alternative that: (a) does not interfere with model training or compromise its accuracy, (b) applies to any RNN architecture, and (c) provides theoretical coverage guarantees on the estimated uncertainty intervals. Our method derives predictive uncertainty from the variability of the (jackknife) sampling distribution of the RNN outputs, which is estimated by repeatedly deleting blocks of (temporally-correlated) training data, and collecting the predictions of the RNN re-trained on the remaining data. To avoid exhaustive re-training, we utilize influence functions to estimate the effect of removing training data blocks on the learned RNN parameters. Using data from a critical care setting, we demonstrate the utility of uncertainty quantification in sequential decision-making.

研究动机与目标

• 解决在序列决策中RNN缺乏可靠且计算高效的不确定性量化问题。
• 开发一种频率学派替代方案，以替代贝叶斯不确定性方法，避免昂贵的重新训练和架构修改。
• 在保持原始RNN预测准确性的同时，确保预测区间具有理论覆盖率保证。
• 通过量化患者结局预测的不确定性，使临床医生能够在重症监护中做出更安全、基于数据的决策。
• 展示不确定性估计在指导基于白细胞计数轨迹的抗生素给药决策中的实用性。

提出的方法

• 该方法通过反复从RNN的训练集中移除时间上连续的数据块，应用分块自助法重采样。
• 对于每个被移除的块，使用影响函数估计RNN参数的变化，而无需完整重新训练，从而高效近似扰动模型。
• 利用这些近似扰动模型的预测变异性，通过自助法方差估计器构建置信区间。
• 该方法将标准影响函数推广至依赖性时间相关数据块，确保在序列设置中的统计有效性。
• 开发了一种随机估计算法，以线性时间计算通过时间反向传播（BPTT）训练的RNN的分块影响函数。
• 该方法具有模型无关性，适用于任何RNN架构，仅需在推理时访问损失梯度。

实验结果

研究问题

• RQ1 频率学派方法能否在不改变模型训练或架构的情况下，为RNN预测提供可靠的不确定性估计？
• RQ2 如何将影响函数适配以估计在RNN中移除时间相关数据块的影响？
• RQ3 所提出的方法能否在序列设置中实现预设的覆盖率概率？
• RQ4 与现有贝叶斯和频率学派基线相比，该方法在准确性、覆盖率和区间长度方面的表现如何？
• RQ5 不确定性估计能否通过平衡风险与收益，改善重症监护中的临床决策，如抗生素给药？

主要发现

• 所提出方法在真实世界MIMIC-III数据上实现了94.4%的覆盖率，显著优于DP-RNN基线（49.2%），且未增加区间长度，达到目标覆盖率。
• BJ-RNN方法保持了较高的预测准确性（RMSE = 20.24），优于MQ-RNN基线（RMSE = 22.39），后者因不确定性感知训练导致准确性下降。
• 该方法实现了具有竞争力的审计准确性，对白细胞减少范围（P4）的预测精度达67%，对白细胞增多范围（P10）为48%，与专用基线相当。
• 置信区间窄且校准良好，避免了DP-RNN的过度乐观和MQ-RNN的过度保守，使临床决策更具可操作性。
• 该方法通过识别置信上限进入白细胞减少范围时，能够安全地指导抗生素给药决策，提示风险。
• 该方法计算高效且为事后处理，无需修改训练过程或模型架构，同时仍提供理论覆盖率保证。