[논문 리뷰] Classification Under Uncertainty: Data Analysis for Diagnostic Antibody Testing

Paul N. Patrone, Anthony J. Kearsley|arXiv (Cornell University)|2020. 12. 18.

SARS-CoV-2 and COVID-19 Research참고 문헌 23인용 수 19

한 줄 요약

이 논문은 질병 유병률의 불확실성과 측정 오차를 고려한 진단 항체 검사에 최적의 의사결정 이론 기반 분류 방법을 제안한다. 진단 결과의 진성 양성/음성 비율을 확률 밀도 함수로 모델링하고 손실 함수를 최적화함으로써, 기존의 신뢰구간 방법에 비해 분류 오류를 최대 10년 감소시킨다. 특히 복잡한 분포를 띠는 저유병률 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

Formulating accurate and robust classification strategies is a key challenge of developing diagnostic and antibody tests. Methods that do not explicitly account for disease prevalence and uncertainty therein can lead to significant classification errors. We present a novel method that leverages optimal decision theory to address this problem. As a preliminary step, we develop an analysis that uses an assumed prevalence and conditional probability models of diagnostic measurement outcomes to define optimal (in the sense of minimizing rates of false positives and false negatives) classification domains. Critically, we demonstrate how this strategy can be generalized to a setting in which the prevalence is unknown by either: (i) defining a third class of hold-out samples that require further testing; or (ii) using an adaptive algorithm to estimate prevalence prior to defining classification domains. We also provide examples for a recently published SARS-CoV-2 serology test and discuss how measurement uncertainty (e.g. associated with instrumentation) can be incorporated into the analysis. We find that our new strategy decreases classification error by up to a decade relative to more traditional methods based on confidence intervals. Moreover, it establishes a theoretical foundation for generalizing techniques such as receiver operating characteristics (ROC) by connecting them to the broader field of optimization.

연구 동기 및 목표

• 질병 유병률의 불확실성을 고려한 진단 항체 검사에 대한 강력한 분류 전략을 개발하기 위해.
• 3σ 신뢰구간과 같은 전통적 방법의 한계를 해결하기 위해, 분포 가정에 기반한 오분류 가능성이 있는 결과를 정확하게 분류하기 위해.
• 시험 결과의 확률 밀도 모델을 바탕으로 손실 함수를 설정함으로써 임상적 오진률(양성/음성)을 최소화하기 위해.
• 유병률이 알려져 있지 않은 설정으로의 분류를 일반화하기 위해, 보류 샘플 또는 적응형 유병률 추정을 사용하기 위해.
• 특히 형광 검출기에서 유래할 수 있는 측정 불확실성을 통계 모델에 통합하여 정확도를 높이기 위해.

제안 방법

• 최적의 의사결정 이론을 사용하여 가짜 양성 및 가짜 음성 비율을 최소화하는 분류 영역을 정의한다.
• 측정 분포를 모델링하기 위해 양성 및 음성 시험 결과에 대해 연속적인 확률 밀도 함수(PDF)를 사용한다.
• 가짜 분류 비율에 기반한 손실 함수를 구성하고, 최적의 분류 임계값을 결정하기 위해 최적화한다.
• 유병률이 불확실할 경우 오분류 위험이 높은 샘플을 위한 제3의 '보류' 클래스를 도입한다.
• 기존 데이터로부터 미지의 유병률을 추정하기 위해 적응형 알고리즘을 적용한 후 분류 규칙을 정의한다.
• 특히 형광 기반 분석에서의 영향을 고려해 측정 불확실성을 PDF에 영향을 주는 방식으로 모델링한다.

실험 결과

연구 질문

• RQ1 질병 유병률이 불확실하거나 알려져 있지 않은 경우, 혈清 검사의 분류는 어떻게 최적화할 수 있는가?
• RQ2 3σ 신뢰구간을 사용할 경우, 특히 저유병률 환경에서 분류 정확도에 어떤 영향을 미치는가?
• RQ3 최적의 의사결정 이론은 기존의 임계값 기반 방법에 비해 분류 오류를 줄일 수 있는가?
• RQ4 장비에서 유래하는 측정 불확실성을 진단 분류 모델에 공식적으로 통합할 수 있는가?
• RQ5 인구의 이질성(예: 도시 대비 농촌 유병률)은 분류 오류에 어떤 역할을 하는가? 그리고 이를 어떻게 모델링할 수 있는가?

주요 결과

• 제안된 방법은 기존의 신뢰구간 기반 접근법에 비해 분류 오류를 최대 10년 감소시킨다.
• PDF 기반 손실 함수를 사용한 최적의 의사결정 이론은 유의미하게 낮은 가짜 양성 및 가짜 음성 비율을 달성한다.
• 이 방법은 ROC 분석을 최적화 프레임워크 내에 통합함으로써 일반화하여 더 넓은 적용 가능성을 제공한다.
• 측정 불확실성을 모델에 통합함으로써 정확도가 향상되며, 특히 꼬리가 무거운 분포나 双봉 분포에서 뚜렷한 효과가 있다.
• 불확실한 유병률 상황에서 오분류 위험을 줄이기 위해 결정 불확실한 결과를 위한 '보류' 클래스를 도입함으로써 전체 오분류 위험을 감소시킨다.
• 이 프레임워크는 다차원 데이터(예: SARS-CoV-2 항체의 동시 측정)에 적응 가능하다.