[논문 리뷰] Reinforced Epidemic Control: Saving Both Lives and Economy

Sirui Song, Zefang Zong외 3명|arXiv (Cornell University)|2020. 08. 04.

Human Mobility and Location-Based Analysis참고 문헌 27인용 수 11

한 줄 요약

이 논문은 개인의 개인정보를 사용하지 않고도 지역 간 이동을 동적으로 제어하고 전염병 확산을 억제할 수 있는 이중 목적 강화학습 프레임워크인 DURLECA를 제안한다. 원천-도착지(OD) 이동 데이터만을 사용하여 전파 위험을 추정하는 새로운 Flow-GNN과 감염 억제 및 이동성 유지 간의 균형을 고려한 보상 함수를 활용함으로써, 실제 실험에서 감염 수를 거의 제로 수준으로 줄이며 도시 이동성의 76%를 유지한다.

ABSTRACT

Saving lives or economy is a dilemma for epidemic control in most cities while smart-tracing technology raises people's privacy concerns. In this paper, we propose a solution for the life-or-economy dilemma that does not require private data. We bypass the private-data requirement by suppressing epidemic transmission through a dynamic control on inter-regional mobility that only relies on Origin-Designation (OD) data. We develop DUal-objective Reinforcement-Learning Epidemic Control Agent (DURLECA) to search mobility-control policies that can simultaneously minimize infection spread and maximally retain mobility. DURLECA hires a novel graph neural network, namely Flow-GNN, to estimate the virus-transmission risk induced by urban mobility. The estimated risk is used to support a reinforcement learning agent to generate mobility-control actions. The training of DURLECA is guided with a well-constructed reward function, which captures the natural trade-off relation between epidemic control and mobility retaining. Besides, we design two exploration strategies to improve the agent's searching efficiency and help it get rid of local optimums. Extensive experimental results on a real-world OD dataset show that DURLECA is able to suppress infections at an extremely low level while retaining 76\% of the mobility in the city. Our implementation is available at https://github.com/anyleopeace/DURLECA/.

연구 동기 및 목표

• 개인의 이동 데이터를 기반으로 하지 않고도 전염병 관리에서 생명과 경제의 딜레마를 해결하는 것.
• 감염 확산을 최소화하면서도 이동성을 최대한 유지하는 동적이고 지역별 맞춤형 이동 제어 정책을 개발하는 것.
• 전염병 관리의 비볼록이며 다중 목적의 정책 공간을 탐색할 수 있는 강화학습 프레임워크를 설계하는 것.
• 특정 지역에 장기간 연속적인 격리 조치를 가하지 않음으로써 실용성을 확보하는 것.
• 복잡한 비볼록 정책 공간에서 국소 최적해를 회피하고 탐색 효율을 향상시키기 위해 새로운 탐색 전략을 도입하는 것.

제안 방법

• DURLECA는 도시 이동 흐름의 그래프 상에서 바이러스 전파 위험을 모델링하기 위해 Flow-GNN이라고 불리는 그래프 신경망(GNN) 아키텍처를 사용한다.
• Flow-GNN은 개인 수준의 데이터 없이도 지역 간 OD 흐름을 따라 전파 동역학을 포착하여 위험 추정이 가능하다.
• 추정된 위험을 바탕으로 감염 억제와 이동성 유지 간의 균형을 고려한 이동 제어 조치를 생성하는 이중 목적 강화학습 에이전트를 사용한다.
• 보상 함수는 감염 감소와 이동성 유지 간의 자연스러운 상충 관계를 반영하도록 철저히 설계되었으며, 지속적 제한과 간헐적 제한에 대해 특별한 처리를 포함한다.
• 복잡한 비볼록 정책 공간에서 국소 최적해를 피하고 정책 탐색 효율을 향상시키기 위해 두 가지 맞춤형 탐색 전략을 도입한다.
• 프레임워크는 실제 세계의 OD 이동 데이터셋에서 훈련 및 평가되어, 전염병 확산 억제와 높은 수준의 이동성 유지 모두에서 효과를 입증한다.

실험 결과

연구 질문

• RQ1 개인의 개인정보 추적을 요구하지 않고도 집합적 OD 이동 데이터만으로 전염병 억제를 효과적으로 달성할 수 있는가?
• RQ2 감염 최소화와 이동성 최대화라는 상충되는 목표를 동시에 고려해 강화학습 에이전트를 어떻게 훈련시킬 수 있는가?
• RQ3 도시 이동 흐름을 통해 바이러스 전파 위험을 정확하게 모델링할 수 있는 신경망 아키텍처는 무엇인가?
• RQ4 비볼록이며 고차원적인 환경에서 정책 공간의 탐색을 어떻게 개선하여 국소 최적해를 피할 수 있는가?
• RQ5 실제 상황에서 정적 또는 균일한 봉쇄 전략보다 동적이고 지역별 맞춤형 이동 제어 정책이 더 뛰어난 성능을 보일 수 있는가?

주요 결과

• DURLECA는 실제 OD 데이터 실험에서 전염병 전파를 극도로 낮추어 거의 제로 수준의 감염률을 달성했다.
• 프레임워크는 효과적인 전염병 억제를 유지하면서도 원래 도시 이동성의 76%를 유지하여 전면 봉쇄 전략보다 경제적 손실을 크게 줄였다.
• Flow-GNN 아키텍처는 이동 흐름을 따라 전파 동역학을 효과적으로 모델링하여 표준 GNN보다 전파 위험 포착 능력에서 뛰어난 성능을 보였다.
• 이중 목적 보상 함수는 감염을 최소화하면서도 이동성을 과도하게 제한하지 않는 균형 잡힌 정책을 찾는 데에 강화학습 에이전트의 능력을 높였다.
• 제안된 두 가지 탐색 전략은 에이전트가 국소 최적해에서 벗어나 고성능 정책을 발견하는 데에 상당한 기여를 하였다.
• 이 방법은 개인 정보 없이도 효과적인 전염병 억제가 가능하며, 개인 추적 기반 접근의 개인정보 보호에 유리한 대안을 제공한다.