[논문 리뷰] A Selectivity based approach to Continuous Pattern Detection in Streaming Graphs

Sutanay Choudhury, Lawrence B. Holder외 3명|arXiv (Cornell University)|2015. 01. 01.

Graph Theory and Algorithms참고 문헌 11인용 수 9

한 줄 요약

이 논문은 스트리밍 그래프에서 연속적인 서브그래프 패턴 탐지를 위한 선택도 기반의 게으른 검색 알고리즘을 제안한다. 2-edge 서브그래프의 분포 통계를 활용하여 쿼리 처리를 안내하며, 경로 기반 또는 단일 정점 기반 검색 전략을 동적으로 선택하기 위해 '상대 선택도( Relative Selectivity)' 를 도입함으로써, 실제 네트워크 트래픽 및 소셜 미디어 데이터 스트림에서 선택도 간과 기반 방법 대비 10–100배 빠른 성능 향상을 달성한다.

ABSTRACT

Cyber security is one of the most significant technical challenges in current times. Detecting adversarial activities, prevention of theft of intellectual properties and customer data is a high priority for corporations and government agencies around the world. Cyber defenders need to analyze massive-scale, high-resolution network flows to identify, categorize, and mitigate attacks involving networks spanning institutional and national boundaries. Many of the cyber attacks can be described as subgraph patterns, with prominent examples being insider infiltrations (path queries), denial of service (parallel paths) and malicious spreads (tree queries). This motivates us to explore subgraph matching on streaming graphs in a continuous setting. The novelty of our work lies in using the subgraph distributional statistics collected from the streaming graph to determine the query processing strategy. We introduce a "Lazy Search" algorithm where the search strategy is decided on a vertex-to-vertex basis depending on the likelihood of a match in the vertex neighborhood. We also propose a metric named "Relative Selectivity" that is used to select between different query processing strategies. Our experiments performed on real online news, network traffic stream and a synthetic social network benchmark demonstrate 10-100x speedups over selectivity agnostic approaches.

연구 동기 및 목표

• cyber 보안 및 소셜 미디어에서 흔한 고처리량, 동적 스트리밍 그래프에서 실시간 서브그래프 패턴 탐지의 과제를 해결하기 위해.
• 변화하는 그래프에서 주기적 또는 브루트 포스 서브그래프 매칭의 비효율성을 해결하기 위해 서브그래프 분포의 비대칭성을 활용하기 위해.
• 통계적 선택도 메트릭을 사용해 패턴 매칭의 가능성을 동적으로 반영하는 쿼리 처리 전략을 설계하기 위해.
• 서브그래프 매칭의 가능성이 높은 영역에 집중함으로써 연속적 패턴 탐지의 계산 오버헤드를 줄이기 위해.
• 대규모 스트리밍 그래프에서 실시간 상황 인식을 지원하는 분산 시스템에 적용 가능한 실용적이고 도입 가능한 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 이웃 정점에서 매칭 가능성이 높은지에 따라 각 정점 기반으로 검색 전략을 결정하는 'Lazy Search' 알고리즘을 도입한다.
• 서브그래프 분포 통계를 바탕으로 'PathLazy' 및 'SingleLazy' 전략 간 비교 및 선택을 위한 메트릭으로 '상대 선택도( Relative Selectivity)' 를 사용한다.
• 쿼리를 2-edge 서브그래프로 분해하고 스트리밍 그래프 내 빈도를 추정하여 검색 우선순위를 안내한다.
• 부분 매칭을 점진적으로 저장하고 업데이트하기 위해 SJ-Tree 를 유지함으로써 그래프의 변화 과정에서 중복 계산을 줄인다.
• 서브그래프 이somorphism 및 SJ-Tree 연산의 프로파일링을 통해 성능 저하 요인을 파악하였으며, 이소모르피즘 연산이 총 처리 시간의 95% 이상을 차지함을 확인하였다.
• 실증적 분포 분 析를 기반으로 상대 선택도가 0.001 이하인 경우 'PathLazy' 를 선택하고, 그 외의 경우 'SingleLazy' 를 선택하는 히ュ리스틱을 제안한다.

실험 결과

연구 질문

• RQ1 실시간 스트리밍 그래프 워크로드에서 서브그래프 패턴 탐지를 효율적이고 확장 가능하게 만들 수 있는 방법은 무엇인가?
• RQ2 2-edge 서브그래프의 분포가 효과적인 쿼리 처리 전략을 안내하는 데 어떤 역할을 하는가?
• RQ3 상대 선택도는 연속적 패턴 탐지에서 최적의 검색 전략을 동적으로 선택하기 위한 신뢰할 수 있는 메트릭으로 사용될 수 있는가?
• RQ4 대규모 스트리밍 그래프에서 레이지 검색의 성능은 VF2 와 같은传통적인 비누적적 접근 방식과 비교해 어떻게 되는가?
• RQ5 쿼리 구조(예: 경로 대 트리) 및 데이터 특성은 선택도 기반 최적화의 효과성에 어떤 영향을 미치는가?

주요 결과

• 'PathLazy' 및 'SingleLazy' 전략은 실제 넷플로우 및 LSBench 데이터셋에서 선택도 간과 기반 방법(VF2) 대비 10–100배 빠른 성능 향상을 달성하였다.
• 서브그래프 이소모르피즘 연산이 총 쿼리 처리 시간의 95% 이상을 차지하여, 이 단계의 최적화가 핵심임을 입증하였다.
• 상대 선택도 값은 두 개의 명확한 군집으로 나뉘었으며, 하나는 0.001 이상, 다른 하나는 수개 차수 낮은 것으로 나타나, 전략 선택을 위한 데이터 기반 히ュ리스틱 수립이 가능했다.
• 'PathLazy' 전략은 넷플로우 데이터셋에서 낮은 경로 분포 선택도로 인해 높은 비대칭성(서브그래프 빈도)을 보이며 다른 전략보다 뛰어난 성능을 보였다.
• 크기가 큰 쿼리(직경 4–5)에서 성능 향상이 가장 두드러졌으며, 레이지 전략은 비누적적 방법 대비 처리 시간 증가율이 훨씬 낮았다.
• 실증 결과는 높은 선택도 영역에 한정해 검색을 제한함으로써 중복 계산을 크게 줄이고 확장성을 향상시킬 수 있음을 확인하였다.