[논문 리뷰] Real Time Discovery of Dense Clusters in Highly Dynamic Graphs: Identifying Real World Events in Highly Dynamic Environments

Manoj K. Agarwal, Krithi Ramamritham외 1명|arXiv (Cornell University)|2012. 06. 30.

Data Management and Algorithms인용 수 11

한 줄 요약

이 논문은 동적 마이크로블로그 스트림에서 발생하는 신속한 사건을 탐지하기 위한 실시간 알고리즘을 제안한다. 사건은 변화하는 그래프 내의 조밀한 클러스터로 모델링되며, 새로운 단기 사이클 성질(Short-Cycle Property, SCP)을 사용해 이중 연결되며 시간적으로 관련된 키워드 클러스터를 식별한다. 이 방법은 높은 정밀도(0.911)와 재현율(0.935)을 달성하며 실시간으로 사건을 탐지하며, 오프라인 방법을 능가하고 보다 적은 하드웨어로도 초당 5,000건 이상의 메시지 스트림에 대해 확장 가능하다.

ABSTRACT

Due to their real time nature, microblog streams are a rich source of dynamic information, for example, about emerging events. Existing techniques for discovering such events from a microblog stream in real time (such as Twitter trending topics), have several lacunae when used for discovering emerging events; extant graph based event detection techniques are not practical in microblog settings due to their complexity; and conventional techniques, which have been developed for blogs, web-pages, etc., involving the use of keyword search, are only useful for finding information about known events. Hence, in this paper, we present techniques to discover events that are unraveling in microblog message streams in real time so that such events can be reported as soon as they occur. We model the problem as discovering dense clusters in highly dynamic graphs. Despite many recent advances in graph analysis, ours is the first technique to identify dense clusters in massive and highly dynamic graphs in real time. Given the characteristics of microblog streams, in order to find clusters without missing any events, we propose and exploit a novel graph property which we call short-cycle property. Our algorithms find these clusters efficiently in spite of rapid changes to the microblog streams. Further we present a novel ranking function to identify the important events. Besides proving the correctness of our algorithms we show their practical utility by evaluating them using real world microblog data. These demonstrate our technique's ability to discover, with high precision and recall, emerging events in high intensity data streams in real time. Many recent web applications create data which can be represented as massive dynamic graphs. Our technique can be easily extended to discover, in real time, interesting patterns in such graphs.

연구 동기 및 목표

• 트위터와 같은 고속도 마이크로블로그 스트림에서 실시간으로 발생하는 실제 세계의 사건을 탐지하는 데 도전하는 것.
• 키워드 기반 트렌딩 주제나 전통적인 클러스터링 기법의 한계를 극복하여, 초기 단계의 사건을 놓치거나 사전에 사건 키워드를 알 필요가 없는 것.
• 사전 정의된 쿼리나 장기적 인기도에 의존하지 않고도 조밀하고 시간적으로 관련된 키워드 그룹을 식별할 수 있는 확장 가능한 실시간 클러스터링 기법을 개발하는 것.
• 폭발적인 동시 발생 키워드 패tern을 포착하는 데 효과적인 새로운 그래프 성질인 단기 사이클 성질(Single-Cycle Property, SCP)을 활용해 사건 탐지의 정밀도와 재현율을 높이는 것.
• 고속도 스트림에서 실시간 성능을 지원하기 위해 동적 그래프 유지를 위한 효율적인 증분 알고리즘을 설계하는 것.

제안 방법

• 최근 메시지의 슬라이딩 윈도우 내에서 공존하는 키워드를 간선으로 연결하여, 마이크로블로그 스트림을 동적 그래프로 모델링한다. 노드는 키워드를 나타내며, 간선은 키워드의 동시 출현을 의미한다.
• 단기 사이클 성질(Single-Cycle Property, SCP)을 새로운 그래프 특성으로 도입: 클러스터는 길이 ≤4인 사이클을 최소 하나 이상 포함해야 하며, 이는 키워드 간 강한 시간적·공간적 관련성을 나타낸다.
• 폭발적인 키워드와 그 공존 관계만 유지하는 적응형 키워드 그래프(Adaptive Keyword Graph, AKG)를 사용하여 그래프 크기를 원래의 전체 키워드 그래프(CKG)의 2% 이하로 줄인다.
• 노드 또는 간선의 추가 또는 삭제 시 실시간으로 업데이트 가능한 증분 클러스터링 알고리즘을 적용하여, SCP를 만족하는 이중 연결 성분을 탐지하고 유지한다.
• 폭발성, 클러스터 조밀도, 시간적 일관성 기반으로 사건 우선순위를 정하기 위해 새로운 함수를 사용해 발견된 클러스터를 순위 매긴다.
• 메시지를 고정된 시간 단위(쿼런타 사이즈 β)로 처리하며, 각 쿼런타의 끝에서 클러스터 탐지를 수행함으로써 반응성과 효율성의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 고속도 마이크로블로그 스트림에서 실시간으로 조밀하고 시간적으로 관련된 키워드 클러스터를 신뢰성 있게 탐지할 수 있는가?
• RQ2 단기 사이클 성질(Single-Cycle Property, SCP)은 동적 그래프에서 발생하는 사건을 탐지하는 데 있어 강력하고 효율적인 지표로 기능하는가?
• RQ3 제안된 실시간 클러스터링 접근법은 오프라인 또는 전통적인 키워드 기반 방법에 비해 정밀도, 재현율, 확장성 측면에서 어떻게 비교되는가?
• RQ4 적응형 키워드 그래프(AKG)의 사용이 탐지 정확도를 훼손하지 않으면서도 계산 오버헤드를 얼마나 줄이는가?
• RQ5 다양한 파라미터 설정과 사건 강도에 대해 알고리즘이 얼마나 안정적이고 강건한가?

주요 결과

• 실제 마이크로블로그 데이터에서 제안된 방법은 정밀도 0.911, 재현율 0.935를 달성하여 오프라인 클러스터링 방법보다 유의미하게 뛰어나다.
• 실시간 사건 클러스터의 거의 전부에서 단기 사이클 성질(Single-Cycle Property, SCP)이 관찰되어, 이 성질이 핵심 탐지 기준으로서의 타당성을 입증한다.
• 보편적인 기계에서 초당 5,000건 이상의 메시지를 처리할 수 있어 강력한 확장성과 실시간 성능을 입증한다.
• 적응형 키워드 그래프(AKG)를 사용함으로써 간선 수가 원래 CKG의 2% 미만으로 감소하여 계산 비용을 극적으로 절감한다.
• 클러스터 평균 크기는 약 5~7개 노드로 안정되어 있으며, 다양한 파라미터 설정에서도 발견된 사건 수가 일관되므로 알고리즘의 강건성을 보여준다.
• 주류 뉴스나 트렌딩 주제에서 포착되지 않은 저조도이지만 시간적으로 일관된 사건까지도 성공적으로 탐지한다.