[논문 리뷰] Supervised learning improves disease outbreak detection

Benedikt Zacher, Irina Czogiel|arXiv (Cornell University)|2019. 02. 06.

Data-Driven Disease Surveillance참고 문헌 22인용 수 3

한 줄 요약

이 연구는 공중보건 감시 시스템에서의 레이블링된 유행병 데이터를 활용하여 감염병 유행 탐지 성능을 햖을 수 있는 지도 학습 방법을 제안한다. 기존의 최고 수준의 FarringtonFlexible 알고리즘 대비 거짓 경고율을 최대 50%까지 감소시키면서도 감도를 유지함으로써 역학자들의 업무 부담을 줄인다.

ABSTRACT

The early detection of infectious disease outbreaks is a crucial task to protect population health. To this end, public health surveillance systems have been established to systematically collect and analyse infectious disease data. A variety of statistical tools are available, which detect potential outbreaks as abberations from an expected endemic level using these data. Here, we develop the first supervised learning approach based on hidden Markov models for disease outbreak detection, which leverages data that is routinely collected within a public health surveillance system. We evaluate our model using real Salmonella and Campylobacter data, as well as simulations. In comparison to a state-of-the-art approach, which is applied in multiple European countries including Germany, our proposed model reduces the false positive rate by up to 50% while retaining the same sensitivity. We see our supervised learning approach as a significant step to further develop machine learning applications for disease outbreak detection, which will be instrumental to improve public health surveillance systems.

연구 동기 및 목표

• 정기적으로 수집된 감시 데이터를 활용하여 감염병 유행을 조기에 탐지하기 위한 지도 기반 기계 학습 방법을 개발하는 것.
• 감도를 유지하면서 유행 탐지에서의 거짓 경고율을 줄여 불필요한 조사의 양을 최소화하는 것.
• 로베르트 코흐 협회가 운영하는 SurvNet 시스템에서의 법적 보고 기준에 따라 정의된 레이블링된 유행 데이터를 활용하여 더 정확한 탐지 모델을 훈련하는 것.
• 거짓 경고로 인한 역학자들의 부담을 줄여 공중보건 감시의 효율성과 실용성을 높이는 것.
• 실제 유행 탐지 상황에서 지도 학습 HMM이 비지도 학습 또는 전통적인 통계 방법보다 우수하고 실현 가능함을 입증하는 것.

제안 방법

• 시간 시리즈 형태의 주간 환자 수 데이터를 기반으로, 독일의 여러 군에서 수집된 지도 기반 은닉 마르코프 모델(HMM)을 사용하며, 상태 레이블은 흔적성 또는 유행 상태를 나타낸다.
• 모델은 각 시점에서의 잠재 상태(흔적성 또는 유행)를 모델링하며, 관측된 환자 수 및 계절성, 추세와 같은 공변량에 따라 발산 확률이 결정된다.
• 전이 확률 및 발산 분포와 같은 모델 파라미터는 최대우도 추정법을 사용하여 추정되며, 유행 효과의 유의미성을 평가하기 위해 우도비 검정을 실시한다.
• 발산 분포는 포isson 또는 음이항분포로 모델링되며, 환자 수와 공변량, 유행 상태 간의 관계를 설명하기 위해 로그선형 링크 함수를 사용한다.
• 기준 추정을 향상시키기 위해 시간에 따라 변화하는 공변량(예: 계절 패턴, 장기 추세)을 모델에 통합한다.
• 최종 탐지 결정은 전방-후방 알고리즘을 통해 계산된 유행 상태에 있는 사후 확률에 기반한다.

실험 결과

연구 질문

• RQ1 공중보건 감시 시스템에서의 레이블링된 유행 데이터를 기반으로 훈련된 지도 학습 HMM이 비지도 학습 또는 전통적인 통계 방법보다 유행 탐지 성능을 향상시킬 수 있는가?
• RQ2 지속적인 학습이 감도를 훼손하지 않으면서 유행 탐지에서의 거짓 경고율을 얼마나 줄일 수 있는가?
• RQ3 법적 보고 기준에 기반한 실제 유행 레이블을 포함할 경우 색소니아 및 캄필로박터 유행 탐지 성능에 어떤 영향을 미치는가?
• RQ4 작은 또는 비정규적인 유행이 존재할 경우 HMM 기반 접근법이 FarringtonFlexible 알고리즘보다 유행기와 흔적기 간의 구분을 더 잘 하는가?
• RQ5 유행의 크기와 레이블링의 완전성은 모델이 진짜 유행을 탐지하는 데 미치는 영향은 어떠한가?

주요 결과

• 제안된 HMM 기반 방법은 실제 색소니아 및 캄필로박터 데이터에서 기존의 FarringtonFlexible 알고리즘 대비 거짓 경고율을 최대 50%까지 감소시키면서도 동일한 감도를 유지하였다.
• 모델은 유의미하게 줄어든 거짓 경고를 기록하여, 역학자들의 업무 부담을 줄이고 공중보건 감시의 시간과 자원 소모를 절감할 수 있었다.
• 유행 주간의 평균 환자 수는 흔적기 주간보다 상당히 높았으며, 이는 모델이 두 상태를 구분하는 능력을 검증한 것이다.
• 추정된 유행 효과 파라미터(exp(β₄))는 유행 주간 동안 환자 수가 크게 증가함을 보여주었으며, 이는 모델이 유행 신호를 잘 포착할 수 있음을 확인한다.
• 낮은 거짓 경고율에도 불구하고 감도는 유지되었으며, 특히 큰 유행에서는 높은 감도를 보였지만, 둘 다 작은 유행(2~3건)에 대해서는 감도가 낮았다.
• 작은 유행이 저보도되었을 경우에도 모델의 성능은 안정적이었으며, 이는 유행 수준이 흔적기 수준과 잘 구분되지 않아 모델 학습에 큰 영향을 주지 않았기 때문이다.