[논문 리뷰] WNTRAC: AI Assisted Tracking of Non-pharmaceutical Interventions Implemented Worldwide for COVID-19

Parthasarathy Suryanarayanan, Ching-Huei Tsou외 24명|arXiv (Cornell University)|2020. 09. 02.

Misinformation and Its Impacts참고 문헌 5인용 수 7

한 줄 요약

WNTRAC는 자연어처리 기법을 사용하여 위키백과 기사에서 비약리적 조치(NPIs)를 자동으로 추출하고 분류하는 인공지능(AI) 지원 시스템입니다. 이 시스템을 통해 261개 국가 및 지역에서 6,000건 이상의 NPI를 매일 대규모로 추적할 수 있으며, 이는 공중보건 연구 및 정책 모델링에 기여합니다. 이 시스템은 이벤트 탐지, 명명된 실체 인식, 값 추출을 결합하고 인간 검증을 통해 구조화되고 최신 상태의 데이터셋을 생성합니다.

ABSTRACT

The Coronavirus disease 2019 (COVID-19) global pandemic has transformed almost every facet of human society throughout the world. Against an emerging, highly transmissible disease with no definitive treatment or vaccine, governments worldwide have implemented non-pharmaceutical intervention (NPI) to slow the spread of the virus. Examples of such interventions include community actions (e.g. school closures, restrictions on mass gatherings), individual actions (e.g. mask wearing, self-quarantine), and environmental actions (e.g. public facility cleaning). We present the Worldwide Non-pharmaceutical Interventions Tracker for COVID-19 (WNTRAC), a comprehensive dataset consisting of over 6,000 NPIs implemented worldwide since the start of the pandemic. WNTRAC covers NPIs implemented across 261 countries and territories, and classifies NPI measures into a taxonomy of sixteen NPI types. NPI measures are automatically extracted daily from Wikipedia articles using natural language processing techniques and manually validated to ensure accuracy and veracity. We hope that the dataset is valuable for policymakers, public health leaders, and researchers in modeling and analysis efforts for controlling the spread of COVID-19.

연구 동기 및 목표

• 코로나19 패an드emic 동안 전 세계적으로 시행된 비약리적 조치(NPIs)에 대한 실시간, 종합적이고 구조화된 데이터의 부족을 해결하기 위해.
• 비구조화된 위키백과 콘텐츠에서 대규모로 NPI를 추출할 수 있는 AI 지원 파이프라인을 개발하여 수작업 쿠리에이션 부담을 줄이기 위해.
• 16종류의 유형으로 분류된 표준화된 분류 기반의 NPI 데이터셋을 구축하고, 정확한 위치, 시간 및 값 속성을 포함하기 위해.
• 매일 자동으로 변경 사항을 탐지하고 전용 쿠리에이터 도구를 사용한 인간 검증을 통해 데이터 품질을 확보하기 위해.
• 연구자와 정책 입안자들이 최신이고 전 세계적으로 대표적인 데이터셋을 활용해 다양한 NPI 전략의 효과성을 모델링할 수 있도록 하기 위해.

제안 방법

• 시스템은 다단계 NLP 파이프라인을 사용합니다. 먼저, 수작업으로 1,490개 문장에 대해 주석 처리된 데이터셋을 기반으로 훈련된 앙상블 기반 기계학습 모델을 사용해 잠재적인 NPI 이벤트를 탐지합니다.
• BERT 및 로지스틱 회귀 모델을 활용해 각 문장을 16종류의 NPI 유형 중 하나로 분류합니다(예: 학교 폐쇄, 대규모 집합 제한).
• 명명된 실체 인식(NER) 및 의미 해소 기법을 통해 위치(예: '펀자브')와 시간 표현(예: '3월 13일')을 추출하고 정규화하며, GPE는 ISO 국가 코드와 연결합니다.
• 히우리즘 기반 관계 탐지 알고리즘을 통해 주변 텍스트에서 누락된 날짜 또는 위치 정보를 추론하여 이벤트의 맥락을 향상시킵니다.
• 구문 기반 규칙 엔진을 사용해 개별 조치에 특화된 값을 추출합니다(예: 집합에서 '100명' 이하), 이는 올바른 이벤트 유형과 정규화된 실체에 의존합니다.
• 추출된 5개 항목(이벤트 유형, 위치, 시간, 값, 상태)은 매일 웹 기반 도구를 통해 인간 쿠리에이터가 검증하여 정확성과 일관성을 확보합니다.

실험 결과

연구 질문

• RQ1 비구조화된 위키백과 콘텐츠에서 대규모로 구조화된 NPI 데이터를 추출하는 데 있어 AI 지원 파이프라인의 효과성은 어떠한가?
• RQ2 자동화된 NPI 추출이 수작업 쿠리에이션 노력의 현저한 감소를 이끌어내면서도 높은 정확도를 유지할 수 있는가?
• RQ3 구문적 및 의미적 유사도 메트릭을 통합할 경우, 매일 수행되는 위키백과 크롤링에서의 변경 사항 탐지 성능은 얼마나 향상되는가?
• RQ4 핵심 속성이 여러 문장에 분산되어 있을 경우, 시스템은 시간적 및 공간적 맥락을 얼마나 잘 처리하는가?
• RQ5 반자동화된 인간이 개입하는 검증 시스템이 데이터 품질과 확장성에 미치는 영향은 어떠한가?

주요 결과

• 시스템은 패안드믹 시작 이래로 261개 국가 및 지역의 위키백과 기사에서 6,000건 이상의 고유한 NPI 이벤트를 성공적으로 추출했습니다.
• 앙상블 모델링을 통해 AI 파이프라인은 높은 예측 성능를 달성했으며, 이는 1,490개 문장의 골드스탠다드 주석 데이터셋을 기반으로 검증되었습니다.
• 레벤슈타인 노멀라이제이션과 의미적 유사도 메트릭을 사용한 매일의 변경 사항 탐지 기법은 관련 업데이트만 식별함으로써 수작업 검토의 중복을 줄였습니다.
• 쿠리에이터 도구를 통해 추출된 이벤트의 검증이 효율적으로 이루어졌으며, 인간 전문가들이 맥락적 지원을 바탕으로 항목을 확인, 수정 또는 삭제할 수 있었습니다.
• 데이터셋은 상호작용 가능한 데이터 브라우저를 통해 공개되었으며, 지역 및 시간에 따른 NPI, 확진자 수, 사망자 수의 시각화 기능을 포함하고 있습니다.
• 제한된 인간 자원으로도 매일의 데이터 수집 및 검증을 유지함으로써 시스템의 확장성과 지속 가능성의 잠재력을 입증했습니다.