[论文解读] Classification Under Uncertainty: Data Analysis for Diagnostic Antibody Testing

Paul N. Patrone, Anthony J. Kearsley|arXiv (Cornell University)|Dec 18, 2020

SARS-CoV-2 and COVID-19 Research参考文献 23被引用 19

一句话总结

本文提出了一种基于最优决策理论的血清抗体检测分类方法，该方法考虑了疾病流行率和测量误差的不确定性。通过使用概率密度函数对真正阳性和假阳/阴性率进行建模，并优化损失函数，该方法相比传统的置信区间方法，将分类错误减少了最多10年，尤其在流行率较低且分布复杂的场景下表现更优。

ABSTRACT

Formulating accurate and robust classification strategies is a key challenge of developing diagnostic and antibody tests. Methods that do not explicitly account for disease prevalence and uncertainty therein can lead to significant classification errors. We present a novel method that leverages optimal decision theory to address this problem. As a preliminary step, we develop an analysis that uses an assumed prevalence and conditional probability models of diagnostic measurement outcomes to define optimal (in the sense of minimizing rates of false positives and false negatives) classification domains. Critically, we demonstrate how this strategy can be generalized to a setting in which the prevalence is unknown by either: (i) defining a third class of hold-out samples that require further testing; or (ii) using an adaptive algorithm to estimate prevalence prior to defining classification domains. We also provide examples for a recently published SARS-CoV-2 serology test and discuss how measurement uncertainty (e.g. associated with instrumentation) can be incorporated into the analysis. We find that our new strategy decreases classification error by up to a decade relative to more traditional methods based on confidence intervals. Moreover, it establishes a theoretical foundation for generalizing techniques such as receiver operating characteristics (ROC) by connecting them to the broader field of optimization.

研究动机与目标

• 开发一种稳健的血清抗体检测分类策略，以考虑疾病流行率的不确定性。
• 解决传统方法（如3σ置信区间）的局限性，这些方法可能因分布假设而错误分类结果。
• 通过基于测试结果概率密度模型的损失函数，最小化假阳性和假阴性结果。
• 将分类方法推广至流行率未知的场景，使用留出样本或自适应流行率估计方法。
• 将测量不确定性（例如来自荧光检测器的不确定性）正式整合到统计模型中，以提高准确性。

提出的方法

• 使用最优决策理论定义分类区域，以最小化假阳性率和假阴性率。
• 采用连续概率密度函数（PDF）对阳性与阴性测试结果进行建模，以描述测量分布。
• 基于错误分类率构建损失函数，并通过优化确定最优分类阈值。
• 引入第三类“留出”类别，用于在流行率不确定时高风险误分类的样本。
• 应用自适应算法，从现有数据中估计未知的流行率，再定义分类规则。
• 通过建模测量不确定性对PDF的影响，将测量不确定性整合到模型中，尤其适用于荧光检测分析。

实验结果

研究问题

• RQ1 当疾病流行率不确定或未知时，如何优化血清学检测中的分类？
• RQ2 在低流行率场景下，使用3σ置信区间对分类准确性有何影响？
• RQ3 与传统基于阈值的方法相比，最优决策理论能否减少分类错误？
• RQ4 如何将仪器测量不确定性正式整合到诊断分类模型中？
• RQ5 人群异质性（如城市与农村流行率差异）在分类错误中起什么作用，又该如何建模？

主要发现

• 所提出的方法相比基于传统置信区间的分类方法，可将分类错误减少最多十年。
• 结合PDF的损失函数使用最优决策理论，显著降低了假阳性率和假阴性率。
• 该方法通过将ROC分析嵌入优化框架中，实现了对ROC分析的推广，具有更广泛的应用潜力。
• 将测量不确定性整合到模型中可提高准确性，尤其在重尾分布或双峰分布中表现更优。
• 引入“留出”类别以处理不确定结果，可在流行率未知时显著降低整体误分类风险。
• 该框架可适应多维数据，例如同时测量多种SARS-CoV-2抗体的情况。