[论文解读] Local calibration of verbal autopsy algorithms

Abhirup Datta, Jacob Fiksel+2 more|arXiv (Cornell University)|Oct 24, 2018

Machine Learning in Healthcare参考文献 10被引用 1

一句话总结

本文提出了一种分层贝叶斯迁移学习框架，用于对口头尸检算法进行本地校准，以改进人群水平的病因特异性死亡分数估计。通过引入收缩先验和一种新型吉布斯采样器，该方法确保在无本地数据时，校准估计值与基线分类器保持一致，且在小样本场景下优于非本地训练。

ABSTRACT

Computer-coded verbal autopsy (CCVA) algorithms predict cause of death from high-dimensional family questionnaire data (verbal autopsies) of a deceased individual. CCVA algorithms are typically trained on non-local data, then used to generate national and regional estimates of cause-specific mortality fractions. These estimates may be inaccurate if the non-local training data is different from the local population of interest. This problem is a special case of transfer learning. However, most transfer learning classification approaches are concerned with individual (e.g. a person's) classification within a target domain (e.g. a particular population) with training performed in data from a source domain. Epidemiologists are often more interested in estimating population-level etiological distributions, using datasets much smaller than those used in common transfer learning applications. We present a parsimonious hierarchical Bayesian transfer learning framework to directly estimate population-level class probabilities in a target domain. To address small sample sizes, we introduce a novel shrinkage prior for the transfer error rates guaranteeing that, in absence of any labeled target domain data or when the baseline classifier has zero transfer error, the calibrated estimate of class probabilities coincides with the naive estimates from the baseline classifier, thereby subsuming the default practice as a special case. A novel Gibbs sampler using data-augmentation enables fast implementation. We extend our approach to use not one, but an ensemble of baseline classifiers. Theoretical and empirical results demonstrate how the ensemble model favors the most accurate baseline classifier. We present extensions allowing class probabilities to vary with covariates, and an EM-algorithm-based MAP estimation. An R-package implementing this method is developed.

研究动机与目标

• 解决使用非本地口头尸检算法时病因特异性死亡分数估计不准确的问题。
• 开发一种利用有限本地数据校准人群水平类别概率的方法。
• 确保在无本地标签可用时，校准估计值默认为基线分类器的输出。
• 将框架扩展至使用基线分类器的集成模型，以提高鲁棒性。
• 允许类别概率随协变量变化，并通过EM算法实现最大后验估计。

提出的方法

• 提出一种分层贝叶斯迁移学习模型，用于估计目标领域中的人群水平病因特异性死亡分数。
• 引入一种新颖的转移误差率收缩先验，确保在无本地数据时，校准默认为基线分类器。
• 采用基于数据增强的吉布斯采样器，尽管输入维度较高，仍能实现高效的后验计算。
• 将框架扩展为使用基线分类器的集成模型，通过后验加权优先选择最准确的分类器。
• 引入协变量依赖的类别概率，以提升模型灵活性。
• 开发基于EM算法的最大后验估计程序，实现可扩展的推理。

实验结果

研究问题

• RQ1 当训练数据为非本地时，迁移学习框架能否提升病因特异性死亡分数估计的准确性？
• RQ2 当本地数据稀缺或缺失时，如何确保校准的可靠性？
• RQ3 与单一分类器相比，使用基线分类器的集成模型是否能提升估计性能？
• RQ4 该方法能否适应病因死亡分布的协变量特定变化？
• RQ5 收缩先验如何在无本地标签时确保与基线分类器的一致性？

主要发现

• 收缩先验确保在无本地数据时，校准估计值与基线分类器完全一致，从而将默认实践作为特例保留。
• 吉布斯采样器即使在高维口头尸检数据下，也能实现快速且可扩展的后验计算。
• 实证结果表明，该方法在小样本场景下优于非本地训练，尤其当基线分类器不完美时表现更优。
• 集成模型倾向于选择最准确的基线分类器，从而提高了对低质量源模型的鲁棒性。
• 扩展至协变量依赖的概率允许更细致、更具情境特异性的死亡分数估计。
• 开发了一个实现该方法的R包，便于流行病学家在实践中应用。