[论文解读] Improving confidence while predicting trends in temporal disease networks

Djordje Gligorijevic, Jelena Stojanovic+1 more|arXiv (Cornell University)|Mar 28, 2018

Data-Driven Disease Surveillance参考文献 9被引用 8

一句话总结

本论文提出了增强型高斯条件随机场（GCRF）模型——uGCRF与ufGCRF，以提升利用加州州立住院数据库（SID）网络预测时间性疾病趋势时的不确定性估计。这些扩展在保持强预测准确性的同时，显著优于标准GCRF在不确定性质量方面的表现，其中ufGCRF在低预测误差与高置信度不确定性估计之间实现了最佳平衡。

ABSTRACT

For highly sensitive real-world predictive analytic applications such as healthcare and medicine, having good prediction accuracy alone is often not enough. These kinds of applications require a decision making process which uses uncertainty estimation as input whenever possible. Quality of uncertainty estimation is a subject of over or under confident prediction, which is often not addressed in many models. In this paper we show several extensions to the Gaussian Conditional Random Fields model, which aim to provide higher quality uncertainty estimation. These extensions are applied to the temporal disease graph built from the State Inpatient Database (SID) of California, acquired from the HCUP. Our experiments demonstrate benefits of using graph information in modeling temporal disease properties as well as improvements in uncertainty estimation provided by given extensions of the Gaussian Conditional Random Fields method.

研究动机与目标

• 解决医疗预测模型中可靠不确定性估计的关键需求，因为过度或不足自信的预测可能导致不良临床决策。
• 在不牺牲预测准确性的前提下，通过引入结构改进，提升标准高斯条件随机场（GCRF）的不确定性量化能力。
• 在从HCUP州住院数据库（SID）派生的真实时间性疾病网络上，评估扩展型GCRF模型（uGCRF与ufGCRF）的性能。
• 证明整合图结构与不确定性感知建模可提升公共卫生决策中预测的可信度。
• 将新模型与非结构化基线模型（线性回归、高斯过程）进行比较，以隔离结构化、不确定性感知建模在疾病趋势预测中的优势。

提出的方法

• 从HCUP SID数据库中的3500万条住院记录构建时间性疾病共病图，使用CCS分类法编码253种疾病。
• 在标准GCRF模型基础上，提出两种新变体：uGCRF（不确定性感知GCRF）与ufGCRF（不确定性与特征感知GCRF），通过修改似然函数与先验分布，更准确反映预测置信度。
• 整合滞后时间特征（滞后1、2、3期），并使用线性回归（LR）与高斯过程（GP）作为对比基线模型。
• 采用最大似然估计与结构化推理进行模型训练，同时优化预测准确性（NLPD）与不确定性校准。
• 将模型应用于2011年12个月中253种疾病的月度住院率预测，评估其在预测误差与不确定性质量两方面的表现。
• 使用负对数预测密度（NLPD）作为不确定性估计质量的主要指标，数值越低表示不确定性校准越好。

实验结果

研究问题

• RQ1 与非结构化基线相比，通过GCRF进行结构化建模是否能提升时间性疾病趋势的预测准确性？
• RQ2 通过引入不确定性感知组件（uGCRF与ufGCRF）增强GCRF模型后，是否能获得比原始GCRF更校准良好的不确定性估计？
• RQ3 在疾病住院预测中，不确定性估计的表现如何随不同时间滞后与模型类型而变化？
• RQ4 不确定性估计的改进是否足够显著，足以证明在高风险医疗应用中使用更复杂模型的合理性？
• RQ5 与标准GCRF及非结构化模型相比，所提出的模型扩展是否能在保持低预测误差的同时，显著提升不确定性质量？

主要发现

• ufGCRF模型在不确定性估计方面表现最佳，所有月份的NLPD值最低，表明其置信区间最可靠。
• 原始GCRF模型的预测误差最低（平均NLPD = -0.0046），但不确定性校准最差，其NLPD值显著劣于所提出的扩展模型。
• uGCRF与ufGCRF在不确定性估计方面均优于原始GCRF，其中ufGCRF表现最为一致，尤其在高变异性月份（如1月与3月）提升最为显著。
• 非结构化基线模型（LR与GP）的不确定性估计优于原始GCRF，但在预测准确性和不确定性质量两方面均被uGCRF与ufGCRF超越。
• ufGCRF的平均NLPD为-0.0089，显著低于原始GCRF的-0.0046，表明其在整个12个月预测周期中均具备更优的不确定性校准能力。
• 结果表明，结合不确定性感知改进的结构化建模可产生更具可信度的预测，尤其在对置信度估计至关重要的高风险医疗应用中。