[논문 리뷰] Semantic Scan: Detecting Subtle, Spatially Localized Events in Text Streams

Abhinav Maurya, Kenton Murray외 4명|arXiv (Cornell University)|2016. 02. 13.

Data-Driven Disease Surveillance참고 문헌 33인용 수 7

한 줄 요약

Semantic Scan (SS)는 대비 주제 모델링을 온라인 문서 할당 및 우도 비율 기반 공간 스캐닝과 융합하여 실시간 텍스트 스트림에서 미세하고 공간적으로 국한된 신규 발생 사건을 탐지하기 위한 새로운 확장 가능한 프레임워크이다. 레이블이 없는 데이터나 수동 튜닝이 필요 없이도, 탐지 속도, 정확도 및 비정상 사건의 특성 분석에서 뛰어난 성능을 보이며, 최대 10배 빠르고 97%의 탐지 정확도를 달성한다.

ABSTRACT

Early detection and precise characterization of emerging topics in text streams can be highly useful in applications such as timely and targeted public health interventions and discovering evolving regional business trends. Many methods have been proposed for detecting emerging events in text streams using topic modeling. However, these methods have numerous shortcomings that make them unsuitable for rapid detection of locally emerging events on massive text streams. In this paper, we describe Semantic Scan (SS) that has been developed specifically to overcome these shortcomings in detecting new spatially compact events in text streams. Semantic Scan integrates novel contrastive topic modeling with online document assignment and principled likelihood ratio-based spatial scanning to identify emerging events with unexpected patterns of keywords hidden in text streams. This enables more timely and accurate detection and characterization of anomalous, spatially localized emerging events. Semantic Scan does not require manual intervention or labeled training data, and is robust to noise in real-world text data since it identifies anomalous text patterns that occur in a cluster of new documents rather than an anomaly in a single new document. We compare Semantic Scan to alternative state-of-the-art methods such as Topics over Time, Online LDA, and Labeled LDA on two real-world tasks: (i) a disease surveillance task monitoring free-text Emergency Department chief complaints in Allegheny County, and (ii) an emerging business trend detection task based on Yelp reviews. On both tasks, we find that Semantic Scan provides significantly better event detection and characterization accuracy than competing approaches, while providing up to an order of magnitude speedup.

연구 동기 및 목표

• 기존 주제 모델링 기법이 대규모이고 노이즈가 많은 텍스트 스트림에서 급격히 발생하는 공간적으로 국한된 사건을 탐지하는 데에 한계가 있음을 해결하기 위해.
• 레이블이 없는 데이터나 수동 간섭 없이도 비정상적인 텍스트 패턴을 조기에 정확하게 탐지할 수 있도록 하기 위해.
• 실제 응용 분야인 공중보건 감시 및 비즈니스 트렌드 모니터링에서 사건 탐지 및 특성 분석의 시의성과 정밀도를 향상시키기 위해.
• 폭발적인 주제 동적 변화에 적응하면서도, 철자 실수, 슬랭, 어순 변형과 같은 노이즈에 강건한 확장 가능한 온라인 프레임워크를 개발하기 위해.
• 자유 텍스트로 지도된 데이터 스트림에서 신속하게 발생하는 사건을 탐지하고 특성 분석하는 데 있어 최신 기술을 능가하기 위해.

제안 방법

• 배경과 전경 문서 클러스터 간 주제 차이를 식별하기 위해 대비 주제 모델링을 통합하여 비정상적인 키워드 패턴을 강조한다.
• 실시간으로 새로운 문서를 주제에 동적으로 할당하는 온라인 문서 할당 기법을 적용하여 대규모 텍스트 스트림에 대한 확장성을 확보한다.
• 통계적으로 유의미한 문서 집합(특정 키워드 동시 발생이 예상치 못하게 높은 경우)을 탐지하기 위해 원리적인 우도 비율 기반 공간 스캐닝을 사용한다.
• 배경 주제(일반적이고 산산이 흩어진)와 전경 주제(특정적이고 국한된)를 분리하기 위해 이중 클러스터링 기법을 적용하여 국소적 사건 탐지 능력을 향상시킨다.
• 주제 분포에 적응한 공간 스캐닝 통계 프레임워크를 활용하여 텍스트 스트림에서 비정상적인 공간 영역을 탐지한다.
• 레이블이 없는 데이터나 사전 처리 없이도 통계적 유의성에 기반해 노이즈가 많은 비정형 텍스트에서 신속하게 발생하는 사건을 탐지한다.

실험 결과

연구 질문

• RQ1 주제 모델링 프레임워크가 기존 방법보다 실시간 텍스트 스트림에서 더 효과적으로 미세하고 공간적으로 국한된 사건을 탐지할 수 있는가?
• RQ2 Semantic Scan는 Topics over Time, Online LDA, Labeled LDA와 같은 최신 기술 대비 사건 탐지 성능에서 어떻게 나타나는가?
• RQ3 Semantic Scan는 질병 감시 및 비즈니스 트렌드 탐지와 같은 실생활 응용 분야에서 탐지 속도와 정확도를 얼마나 향상시키는가?
• RQ4 Hellinger 거리, 공간 겹침, 문서 겹침과 같은 메트릭을 사용하여 프레임워크가 신속하게 발생하는 사건의 범위와 내용을 정확하게 특성화할 수 있는가?
• RQ5 Semantic Scan는 철자 실수나 슬랭과 같은 실생활 텍스트 데이터의 노이즈와 언어적 다양성에 얼마나 강건한가?

주요 결과

• Semantic Scan는 최대 10배 빠른 탐지 속도를 기록했으며, 평균 실행 시간은 1,649초로 Topics over Time의 43,281초보다 훨씬 빠르게 나타났다.
• 1개월당 가짜 양성률을 고정했을 때, SS는 평균 2.44일 만에 사건을 탐지했고, ToT(5.71일), OLDA(3.29일), Labeled LDA(4.11일)보다 뛰어난 성능을 보였다.
• 1개월당 가짜 양성률을 고정했을 때, SS는 주입된 사건의 97%를 탐지했으며, ToT(85%), OLDA(80%), Labeled LDA(85%)보다 뚜렷이 뛰어났다.
• 진짜 주제 분포와 탐지된 주제 분포 간 Hellinger 거리가 SS에서 가장 낮아, 주제 특성 분석 정확도가 뛰어나다는 것을 시사한다.
• 공간 겹침 및 문서 겹침 메트릭을 통해 SS는 특히 초기 탐지 단계에서 경쟁자들을 능가했으며, 영향을 받은 영역과 문서의 정밀한 국소화를 확인했다.
• 응급실 데이터와 Yelp 리뷰 데이터셋 모두에서 SS는 수동 튜닝이나 레이블이 없는 상태에서도 노이즈와 언어적 다양성에 강건했으며, 높은 성능을 유지했다.