[논문 리뷰] A Bayesian Hierarchical Network for Combining Heterogeneous Data Sources in Medical Diagnoses

Claire Donnat, Nina Miolane외 2명|arXiv (Cornell University)|2020. 07. 27.

Anomaly Detection Techniques and Applications참고 문헌 39인용 수 8

한 줄 요약

이 논문은 임의의 기대값이 없는 병원성 데이터 소스—예를 들어 증상, 위험 인자, 측정 테스트 결과 등—을 하나의 불확실성 인식 진단으로 통합하기 위해 스토하스틱 기대최대화(StEM) 알고리즘을 사용하는 베이지안 계층 모델을 제안한다. 이 방법은 불확실성 범위를 고려하여 정확도가 떨어지는 데이터를 견고하게 통합하며, 시뮬레이션 데이터에서 뛰어난 성능을 보이고, 실제 코로나19 면역 연구에 적용되어 잠재적 가짜 음성 결과를 식별하고 테스트 민감도 및 특이도를 재보정하였다.

ABSTRACT

Computer-Aided Diagnosis has shown stellar performance in providing accurate medical diagnoses across multiple testing modalities (medical images, electrophysiological signals, etc.). While this field has typically focused on fully harvesting the signal provided by a single (and generally extremely reliable) modality, fewer efforts have utilized imprecise data lacking reliable ground truth labels. In this unsupervised, noisy setting, the robustification and quantification of the diagnosis uncertainty become paramount, thus posing a new challenge: how can we combine multiple sources of information -- often themselves with vastly varying levels of precision and uncertainty -- to provide a diagnosis estimate with confidence bounds? Motivated by a concrete application in antibody testing, we devise a Stochastic Expectation-Maximization algorithm that allows the principled integration of heterogeneous, and potentially unreliable, data types. Our Bayesian formalism is essential in (a) flexibly combining these heterogeneous data sources and their corresponding levels of uncertainty, (b) quantifying the degree of confidence associated with a given diagnostic, and (c) dealing with the missing values that typically plague medical data. We quantify the potential of this approach on simulated data, and showcase its practicality by deploying it on a real COVID-19 immunity study.

연구 동기 및 목표

• 증상, 위험 인자, LFA 결과와 같은 다수의 이질적이고 노이즈가 많고 신뢰할 수 없는 의료 데이터 소스를 통합하는 데 도전하는 문제를 해결하기 위해.
• 기본 진단 확률을 신뢰구간으로 정량화하는 원칙적인 방법을 개발하여, 홈 테스트나 새로운 질병 스크리닝에서 흔한 저자료 또는 고노이즈 환경에서의 진단 정확도를 향상시키기 위해.
• 신뢰할 수 있는 기준 진단 레이블이 없을 경우에도, 다양한 모odal 간의 불확실성을 고려하는 베이지안 수식을 활용하여 견고한 진단을 가능하게 하기 위해.
• 특히 테스트 결과가 임상 증상이나 노출력과 모순될 경우, 높은 불확실성으로 인한 잠재적 가짜 음성 사례를 식별함으로써 진단 정확도를 향상시키기 위해.

제안 방법

• 증상, 위험 인자, 테스트 결과 등 여러 데이터 소스를 고려하여 질병 상태의 공동 확률을 모델링하는 베이지안 계층 모델을 제안한다.
• 결측 데이터가 있는 경우에도 감도, 특이도, 질병 유병률 등의 모델 파라미터를 반복적으로 추정하기 위해 스토하스틱 기대최대화(StEM) 알고리즘을 적용한다.
• 모델 파라미터에 대해 공액 사전확률분포를 사용하고, 사후 추론을 통해 업데이트함으로써 모든 입력에 대해 체계적인 불확실성 정량화를 가능하게 한다.
• 잠재적 질병 상태를 은닉 변수로 포함하고, 관측된 데이터로는 증상 보고, 위험 인자 노출, LFA 테스트 결과를 포함한다.
• EM 프레임워크 내에서 마진화를 통해 결측 데이터를 처리하여 데이터 삭제를 방지하고 통계적 검정력을 유지한다.
• 감도 및 특이도와 같은 테스트 성능의 불확실성을 랜덤 변수로 모델링하고, 사전 지식과 실질적 데이터로부터 업데이트함으로써 동적 재보정이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 자가 보고한 증상, 노출력, 측정 테스트 결과 등 다양한 이질적이고 노이즈가 많은 의료 데이터 소스를 어떻게 통합하여 불확실성 정량화가 가능한 신뢰할 수 있는 진단을 도출할 수 있는가?
• RQ2 기본 진단 레이블이 없을 경우, 특히 테스트 정확도가 불확실하거나 校정되지 않은 상황에서, 베이지안 계층 모델이 진단 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 모델은 증상과 테스트 결과가 모순될 경우, 잠재적 가짜 음성과 같은 높은 진단 불확실성 사례를 식별하고 경고할 수 있는가?
• RQ4 LFA 테스트의 감도 및 특이도는 다양한 임상 하위군(예: 무증상 대비 유증상, 조기 대비 후기 검사)에서 어떻게 달라지며, 모델은 실질적 데이터로부터 이러한 값을 재보정할 수 있는가?
• RQ5 데이터가 희소하고 노이즈가 많을 경우, 모델은 진실된 면역 유병률과 증상 확률을 인지할 수 있는가?

주요 결과

• 시뮬레이션 데이터에서 StEM 알고리즘이 진짜 값과 몇 퍼센트 내외로 수렴했으며, 대부분의 계수에서 상대 오차가 5% 미만이었다.
• 감도와 특이도가 높을수록 수렴 속도가 크게 향상되었고, 알고리즘은 표본 크기 증가에 따라 선형적으로 증가하는 반복 시간을 보이며 합리적인 확장성을 보였다.
• 117명의 의료진에서 수집한 실제 데이터를 바탕으로, 모델은 LFA의 감도와 특이도를 재보정하였으며, 무증상 환자에서 가장 두드러진 수정가치를 보여, 제조사가 주장하는 성능보다 실제 성능이 낮을 가능성을 시사했다.
• 모델은 주제 108과 주제 92를 잠재적 가짜 음성으로 식별하여, 증상과 테스트 결과의 불일치로 인한 높은 불확실성을 반영한 사후 분포를 통해 이 불확실성을 정량화하였다.
• 사후 분포 분석 결과, 건조한 기침과 호흡 곤란 같은 증상이 양성 진단을 받은 유증상 환자에서 더 흔하게 나타나, 인구 집단 특화된 통찰을 제공하였다.
• 여러 데이터 소스가 일치할 경우, 모델은 더 좁고 더 정보가 풍부한 신뢰구간을 제공했고, 소스 간 충돌이 있을 경우 더 넓은 구간을 제공하여 임상적 해석 가능성과 안전성을 향상시켰다.