[논문 리뷰] A framework for optimizing COVID-19 testing policy using a Multi Armed Bandit approach

Hagit Grushka-Cohen, Raphaël Cohen외 3명|arXiv (Cornell University)|2020. 07. 28.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 5

한 줄 요약

이 논문은 감염자 탐지(이윤 극대화)와 편향 없는 인구 감시(탐색)를 균형 있게 유지하면서 코로나19 검사 정책을 최적화하기 위해 다수의 손잡이 밴딧(Multi-Armed Bandit, MAB) 기반 프레임워크를 제안한다. 이스라엘 보건부의 증상 데이터를 활용해 예측 모델을 통해 개인을 순위 매기고, 검사 능력의 10%로 66.6%의 재현율을 달성하며, 70%로는 92.1%의 재현율을 달성하였다. 동시에 탐색을 위한 능력을 확보하여 필터 버블 문제를 방지하고 의사결정을 향상시켰다.

ABSTRACT

Testing is an important part of tackling the COVID-19 pandemic. Availability of testing is a bottleneck due to constrained resources and effective prioritization of individuals is necessary. Here, we discuss the impact of different prioritization policies on COVID-19 patient discovery and the ability of governments and health organizations to use the results for effective decision making. We suggest a framework for testing that balances the maximal discovery of positive individuals with the need for population-based surveillance aimed at understanding disease spread and characteristics. This framework draws from similar approaches to prioritization in the domain of cyber-security based on ranking individuals using a risk score and then reserving a portion of the capacity for random sampling. This approach is an application of Multi-Armed-Bandits maximizing exploration/exploitation of the underlying distribution. We find that individuals can be ranked for effective testing using a few simple features, and that ranking them using such models we can capture 65% (CI: 64.7%-68.3%) of the positive individuals using less than 20% of the testing capacity or 92.1% (CI: 91.1%-93.2%) of positives individuals using 70% of the capacity, allowing reserving a significant portion of the tests for population studies. Our approach allows experts and decision-makers to tailor the resulting policies as needed allowing transparency into the ranking policy and the ability to understand the disease spread in the population and react quickly and in an informed manner.

연구 동기 및 목표

• 코로나19 패닉 기간 동안 제한된 검사 능력에 대응하기 위해 우선순위 정책을 최적화한다.
• 증상이 있는 또는 고위험 개인을 우선시하는 편향된 검사 정책이 초래하는 필터 버블 문제를 완화한다.
• 공중보건 의사결정자들이 검사 정책에 대한 통제력을 유지하면서도 탐지 효율성과 감시 정확성을 향상시킬 수 있도록 한다.
• 변동하는 유행 역학에 대응하기 위해 데이터 기반으로 동적으로 리트레이닝 가능한 위험 모델을 지원한다.
• 원칙적인 MAB 프레임워크를 활용해 이윤 극대화(최대한의 양성 사례 탐지)와 탐색(편향 없는 인구 수준 데이터 확보)을 균형 있게 조절한다.

제안 방법

• 이윤 극대화(고위험 개인 검사)와 탐색(무작위 또는 표적적 샘플링)을 균형 있게 유지하기 위해 다수의 손잡이 밴딧(MAB) 프레임워크를 적용한다.
• 환자의 증상(예: 발열, 기침, 피로) 데이터를 기반으로 훈련된 위험 점수 모델을 활용해 검사 우선순위를 매긴다.
• 무작위 또는 지리적 계층화된 샘플링을 위해 검사 능력의 일부(예: 30–60%)를 확보하여 편향 없는 감시를 보장한다.
• 다양한 유행 파동에서의 순차적 데이터를 기반으로 예측 모델(예: 다항식 커널을 사용한 SVM, 선형 SVM, 규칙 기반 모델)을 훈련하고 재훈련한다.
• 탐색을 안내하기 위해 토머슨 샘플링 또는 유사 방법을 사용하여 질병 확산 모니터링에 최대한의 정보 수확을 유도한다.
• 전문가의 통제를 통합하기 위해 탐색/이윤 극대화 균형 조정과 동적 특성 추가(예: 인구 통계학적 정보, 위치)를 수동으로 조정할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 제한된 검사 능력 하에서 데이터 기반 순위 매기기 모델이 편향 없는 인구 감시를 위한 능력을 유지하면서도 개인의 검사를 효과적으로 우선순위화할 수 있는가?
• RQ2 다양한 모델(예: 다항식 SVM, 선형 SVM, 규칙 기반 모델)의 성능은 제한된 검사 능력 하에서 재현율과 F1 점수 측면에서 어떻게 비교되는가?
• RQ3 다른 유행 단계(예: 첫 번째 파동 대비 두 번째 파동)에서 모델을 재훈련할 경우 탐지 성능에 어떤 영향을 미치는가?
• RQ4 탐색을 위한 능력을 확보할 경우 새로운 유행 집단 탐지 및 공중보건 의사결정의 정확성에 어떤 영향을 미치는가?
• RQ5 투명하고 설명 가능한 MAB 프레임워크는 즉흥적이거나 순수하게 이윤 극대화 중심의 검사 정책에 비해 어느 정도 향상되는가?

주요 결과

• 검사 능력의 10%만을 사용하여도, 이 프레임워크는 양성 사례를 탐지하는 데 66.6%의 재현율(CI: 64.7%–68.3%)을 달성하여 높은 탐지 효율성을 입증했다.
• 검사 능력의 70%를 사용할 경우, 모든 양성 사례의 92.1% (CI: 91.1%–93.2%)를 포괄하여 강력한 확장성과 성능을 보였다.
• F1 점수 측면에서 다항식 SVM 모델이 선형 SVM 및 규칙 기반 모델보다 뛰어난 성능을 보였으며, 특히 높은 능력 기준에서 두드러졌다.
• 두 번째 파동(주 21–23)의 데이터로 모델을 재훈련한 결과, 첫 번째 파동 모델 대비 낮은 능력 기준(예: 30% 탐색)에서 더 높은 재현율을 달성했다.
• 탐색 능력이 60%로 증가했을 경우, 두 번째 파동 모델이 첫 번째 파동 모델보다 재현율에서 뛰어나 성능을 보였으며, 이는 모델 드프트와 동적 재훈련의 필요성을 시사했다.
• 이 프레임워크는 전문가가 정책 결정에 대한 통제력을 유지하면서도, 데이터 기반, 투명하고 조정 가능한 모델을 통해 탐지 및 감시 성능을 향상시킬 수 있다.