[논문 리뷰] Detecting Flow Anomalies in Distributed Systems

Freddy Chong Tat Chua, Ee‐Peng Lim외 1명|arXiv (Cornell University)|2014. 01. 01.

Network Security and Intrusion Detection인용 수 1

한 줄 요약

이 논문은 엔티티 플로우로부터의 굵은 시간 기록(시작 및 종료 시간)만을 사용하여 분산 시스템 내 플로우 이상 현상을 탐지하고 국지화하는 비침습적, 엣지 기반 네트워크 전송 모델을 제안한다. 기대 도착 시간을 추론하고 심각한 이격을 식별함으로써, 표준편차 기반 접근 방식보다 이상 위치의 순위를 더 잘 매기는 방법을 제공하며, 공공 교통 데이터를 사용하여 검증되고 사회적 미디어 보고서와 상관관계가 있음을 입증한다.

ABSTRACT

Deep within the networks of distributed systems, one often finds anomalies that affect their efficiency and performance. These anomalies are difficult to detect because the distributed systems may not have sufficient sensors to monitor the flow of traffic within the interconnected nodes of the networks. Without early detection and making corrections, these anomalies may aggravate over time and could possibly cause disastrous outcomes in the system in the unforeseeable future. Using only coarse-grained information from the two end points of network flows, we propose a network transmission model and a localization algorithm, to detect the location of anomalies and rank them using a proposed metric within distributed systems. We evaluate our approach on passengers' records of an urbanized city's public transportation system and correlate our findings with passengers' postings on social media microblogs. Our experiments show that the metric derived using our localization algorithm gives a better ranking of anomalies as compared to standard deviation measures from statistical models. Our case studies also demonstrate that transportation events reported in social media microblogs matches the locations of our detect anomalies, suggesting that our algorithm performs well in locating the anomalies within distributed systems.

연구 동기 및 목표

• 즉각적인 장애를 일으키지 않지만 성능을 저하시키는 비핵심 이상 현상을 분산 시스템에서 탐지하기 위해.
• 원천 및 목적지 노드로부터의 굵은 시간 데이터만 제공되는 상황에서 플로우 이상의 원인을 국지화하기 위해.
• 기대 플로우 시간을 추론하고 기대치에서 심각한 이격을 보이는 세그먼트를 식별하는 모델을 개발하기 위해.
• 실제 공공 교통 데이터와 사회적 미디어 보고를 사용하여 이상 탐지 및 국지화 방법을 검증하기 위해.
• 사회적 미디어 마이크로블로깅이 탐지된 이상 현상을 검증하는 기준 자료로 활용될 수 있음을 보여주기 위해.

제안 방법

• 엔티티 플로우 기록에서 공간, 시간, 비용 데이터를 사용하여 이상 탐지 문제를 수학적으로 정의한다.
• 관측된 시작 및 종료 시간을 바탕으로 기대 플로우 시간을 추론하기 위해 엣지 기반 네트워크 전송 모델을 개발한다.
• 크게 이격된 시간을 보이는 기록과 관련된 세그먼트를 순위 매기는 국지화 알고리즘을 적용한다.
• 기록 간의 '포함됨'과 '내부에 있음' 관계 지표를 사용하여 이상과 관련성이 높은 기록을 식별하고, 경로가 짧고 연결성이 높은 기록을 우선순위로 정한다.
• 관계 수를 세는 데 소요되는 계산 비용을 줄이기 위해 전이성 기반 최적화 기법을 적용한다.
• 피크 시간대 및 비피크 시간대의 교통 패턴을 반영하기 위해 엣지 속도를 혼합 정규분포로 모델링함으로써 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 내부 센서 데이터 없이도 시작 및 종료 시간 데이터만으로 분산 시스템 내 플로우 이상 현상을 탐지할 수 있는가?
• RQ2 세부 경로 및 세그먼트 수준의 데이터가 제공되지 않을 경우 이상의 위치를 어떻게 국지화할 수 있는가?
• RQ3 제안된 방법이 표준편차와 같은 전통적인 통계적 측정치보다 이상 위치의 순위를 더 잘 매길 수 있는가?
• RQ4 사회적 미디어 보고서에서의 서비스 장애 언급과 알고리즘에 의해 탐지된 이상 간의 상관관계는 어느 정도인가?
• RQ5 부분적인 경로 지식이 있는 상황에서도 모델이 기대 플로우 시간을 추론하고 이격을 탐지할 수 있는가?

주요 결과

• 제안된 국지화 알고리즘이 표준편차 기반 통계 모델보다 이상 순위 매기기에 더 우수한 성능을 보인다.
• 알고리즘이 굵은 시간 데이터만 제공되는 상황에서도 심각한 플로우 이격을 보이는 세그먼트를 성공적으로 식별한다.
• 큰 이격과 높은 관계 연결성을 보이는 기록은 네트워크 내 실제 이상 위치를 가리키는 경향이 높다.
• MRT 고장(MRT breakdown)과 같은 교통 장애를 언급하는 사회적 미디어 마이크로블로그가 탐지된 이상 위치와 일치하여 외부 검증을 제공한다.
• 특히 피크 시간대에 실시간 승객 불만과 탐지된 이상 사이에 강한 상관관계가 있음을 보여준다.
• 피크/비피크 시간대의 교통 패턴을 혼합 정규분포로 엣지 속도에 반영함으로써 모델의 성능이 향상된다.