[논문 리뷰] Localized epidemic detection in networks with overwhelming noise

Eli A. Meirom, Chris Milling외 4명|arXiv (Cornell University)|2014. 02. 06.

Complex Network Analysis Techniques인용 수 4

한 줄 요약

이 논문은 유해한 신호보다 훨씬 많은 오진과 위양성 존재에도 불구하고, 오염되고 신뢰할 수 없는 국소 보고와 부분적인 네트워크 지식만을 사용하여 네트워크 내 전염병 확산을 탐지하는 분산형, 국소적 알고리즘을 제안한다. 알고리즘은 국소 보고 패턴을 집계하고 네트워크 구조를 활용하여 진정한 전염병을 정확히 식별함으로써, 최소한의 정보와 다수의 소스가 존재하는 상황에서도 거의 완벽한 탐지 성능을 달성한다.

ABSTRACT

We consider the problem of detecting an epidemic in a population where individual diagnoses are extremely noisy. The motivation for this problem is the plethora of examples (influenza strains in humans, or computer viruses in smartphones, etc.) where reliable diagnoses are scarce, but noisy data plentiful. In flu/phone-viruses, exceedingly few infected people/phones are professionally diagnosed (only a small fraction go to a doctor) but less reliable secondary signatures (e.g., people staying home, or greater-than-typical upload activity) are more readily available. These secondary data are often plagued by unreliability: many people with the flu do not stay home, and many people that stay home do not have the flu. This paper identifies the precise regime where knowledge of the contact network enables finding the needle in the haystack: we provide a distributed, efficient and robust algorithm that can correctly identify the existence of a spreading epidemic from highly unreliable local data. Our algorithm requires only local-neighbor knowledge of this graph, and in a broad array of settings that we describe, succeeds even when false negatives and false positives make up an overwhelming fraction of the data available. Our results show it succeeds in the presence of partial information about the contact network, and also when there is not a single "patient zero", but rather many (hundreds, in our examples) of initial patient-zeroes, spread across the graph.

연구 동기 및 목표

• 신뢰할 수 있는 진단 데이터가 부족한 상황에서 증상 보고, 장치 이상과 같은 노이즈가 많은 보조 지표가 풍부할 때 전파되는 전염병을 탐지하는 데 도전하는 것.
• 네트워크 구조에 대한 국소 지식과 단일 시점의 보고 데이터만을 사용하는 분산형이며 계산적으로 효율적인 알고리즘을 설계하는 것.
• 진짜 감염된 노드 수보다 오진과 위양성의 수가 훨씬 많을 때에도 정확한 전염병 탐지를 가능하게 하는 것.
• 노드 간 거리나 이웃 집합이 잘못 추정된 등의 부분적 또는 정확하지 않은 네트워크 구조 지식에 대해서도 강건성을 확보하는 것.
• 단일 '환자 제로'가 아닌 다수의 전염병 원인이 존재하는 상황을 다룰 수 있도록 하는 것.

제안 방법

• 알고리즘은 각 노드가 국소 반경 내 보고를 한 이웃의 밀도를 평가하여 전염병을 암시하는 비정상적인 군집을 탐지하는 국소 핫스팟 집계 전략을 사용한다.
• 관측된 국소 보고 밀도를 네트워크 전역에서 균일한 무작위 보고를 가정한 근본 모델(null model)과 비교하는 통계적 가설 검정을 적용한다.
• 이 방법은 전적으로 국소 이웃 정보에 의존한다—각 노드는 전반적인 네트워크 구조를 알 필요 없이 자신의 직접 이웃과 그 보고 상태만을 알아야 한다.
• 공기 기반 집계를 활용한다: 각 노드는 반경 r 이내의 보고 이웃 수를 세며, 이는 근본 모델 하에서 기대되는 수치와 비교된다.
• 알고리즘은 구조적 노이즈에 강건하도록 설계되어 있으며, 추정된 거리나 이웃 집합에 오류가 있어도 잘 작동한다. 오직 전염병 전면 근처에 있는 보고 노드일 경우 성능 저하가 발생한다.
• 이론적 분석 결과, 네트워크 및 보고 조건이 넓게 허용되더라도 오진과 위양성 비율이 1에 가까워지는 상황에서도 낮은 오류율을 유지함을 보여준다.

실험 결과

연구 질문

• RQ1 대부분의 보고된 감염이 오진과 위양성일 경우, 네트워크에서 전파되는 전염병을 탐지할 수 있는가?
• RQ2 전체 전파 과정의 시간적 변화를 관찰하지 않고도 단일 시점의 보고 데이터와 국소 네트워크 지식만으로 전염병을 탐지할 수 있는가?
• RQ3 단일 기원이 아닌 다수의 전염병 원인이 네트워크 곳곳에 존재할 경우에도 알고리즘이 효과적으로 작동할 수 있는가?
• RQ4 기본 네트워크 구조 지식이 부분적이거나 정확하지 않을 경우 탐지 성능은 얼마나 강건한가?
• RQ5 진짜 보고율이 오진 보고율보다 훨씬 낮은 극도의 노이즈 수준에서도 알고리즘이 정확성을 유지하는가?

주요 결과

• 알고리즘은 매우 낮은 오류율을 달성한다—진짜 보고 노드가 0.003N이고 오진이 0.08N일 경우에도 불구하고, 극도로 노이즈가 많은 환경에서도 강건함을 입증한다.
• 이론적으로 예측한 바와 같이 네트워크 크기가 커질수록 오류율은 지수적으로 감소하며, 페이스북(63K개 노드)과 엔론(33,696개 노드)과 같은 대규모 실세계 네트워크에서도 낮은 수준을 유지한다.
• 오진 및 위양성 비율이 진짜 양성 수를 초월하는 상황, 심지어 오진 보고 비율이 1에 가까워지는 경우에도 알고리즘이 전염병을 성공적으로 탐지한다.
• 오직 보고 노드가 전염병 전면 근처에 있고 네트워크 구조 지식이 잘못 추정된 경우 성능이 저하되며, 이 경우 유형 I 오류는 구조적 노이즈에 영향을 받지 않는다.
• 알고리즘은 노이즈가 있는 네트워크 지식에 강건하다—거리 추정 오류 확률이 50%일 경우(±1 또는 ±2)에도 오류율은 낮게 유지되며, 특히 더 큰 반경과 중심에 위치한 보고 노드에서는 더욱 뚜렷하다.
• 알고리즘은 효율적으로 확장 가능하며, 낮은 계산 복잡도와 실세계 AS-탑오로지 및 이메일 네트워크에 성공적으로 적용된 점으로 볼 때 분산 배포에 적합하다.