[논문 리뷰] Tiresias: Online Anomaly Detection for Hierarchical Operational Network Data

Chi-Yao Hong, Matthew Caesar외 2명|arXiv (Cornell University)|2012. 03. 09.

Network Security and Intrusion Detection참고 문헌 16인용 수 6

한 줄 요약

Tiresias는 계층적 운영 네트워크 데이터를 대상으로 실시간으로 고정밀도로 이상 현상을 탐지하는 온라인 이상 탐지 시스템으로, 적응형 계층적 헤비 허터 기법을 활용한다. 실제 ISP 데이터를 대상으로 평가한 결과, 이상을 탐지하는 데 94% 이상의 정확도를 달성하였으며, 이전에 알려지지 않은 문제들을 발견하였다.

ABSTRACT

Operational network data, management data such as customer care call logs and equipment system logs, is a very important source of information for network operators to detect problems in their networks. Unfortunately, there is lack of efficient tools to automatically track and detect anomalous events on operational data, causing ISP operators to rely on manual inspection of this data. While anomaly detection has been widely studied in the context of network data, operational data presents several new challenges, including the volatility and sparseness of data, and the need to perform fast detection (complicating application of schemes that require offline processing or large/stable data sets to converge). To address these challenges, we propose Tiresias, an automated approach to locating anomalous events on hierarchical operational data. Tiresias leverages the hierarchical structure of operational data to identify high-impact aggregates (e.g., locations in the network, failure modes) likely to be associated with anomalous events. To accommodate different kinds of operational network data, Tiresias consists of an online detection algorithm with low time and space complexity, while preserving high detection accuracy. We present results from two case studies using operational data collected at a large commercial IP network operated by a Tier-1 ISP: customer care call logs and set-top box crash logs. By comparing with a reference set verified by the ISP's operational group, we validate that Tiresias can achieve >94% accuracy in locating anomalies. Tiresias also discovered several previously unknown anomalies in the ISP's customer care cases, demonstrating its effectiveness.

연구 동기 및 목표

• 고객 케어 로그 및 시스템 크래시 보고서와 같은 희박하고 변동성이 크며 계층적인 운영 네트워크 데이터에서 이상을 탐지하는 데 도전하는 것.
• 대규모 네트워크에 스케일링 가능하고 실시간으로 작동하는 온라인, 저복잡도 탐지 시스템을 개발하는 것. 기존의 오프라인 방법과는 달리 이 시스템은 실시간으로 작동한다.
• 운영 데이터의 계층적 구조를 활용하여, 낮은 수준의 신호가 희박한 상황에서도 집계 수준에서 고영향도 이상을 탐지하는 것.
• 동적이고 스트리밍되는 운영 데이터에 대해 계층적 헤비 허터 탐지 기법을 적응시켜 기존 이상 탐지 기법을 향상시키는 것.
• 실제 ISP 환경에서 알려진 이상과 이전에 알려지지 않은 이상을 탐지하는 데 시스템의 효과성을 검증하는 것.

제안 방법

• Tiresias는 시간과 공간 복잡도가 낮은 스트리밍 데이터에 적합하게 조정된 계층적 헤비 허터 탐지 기반의 온라인 탐지 알고리즘을 사용한다.
• 계층의 여러 수준에서 헤비 허터를 추적함으로써 동적으로 고영향도 집합(예: 네트워크 위치, 장애 유형)을 식별한다.
• 시간이 지남에 따라 헤비 허터 위치를 조정하는 새로운 적응형 기법을 도입하여, 최상위 노드 이하의 더 세밀한 수준에서 이상을 탐지할 수 있도록 한다.
• 정밀도, 재현율, F1 점수를 계산하기 위해 탐지된 이상을 ISP 운영 팀이 검증한 기준 집합과 비교하며, 계층적 매칭 함수를 사용한다.
• 시간적 및 계층적 관계를 기반으로 이상을 진짜 양성, 누락된 이상, 새로운 이상, 진짜 음성으로 분류하는 메커니즘이 포함되어 있다.
• Tiresias는 실시간으로 데이터를 처리하여, 빠른 반응 요구 사항을 가진 긴급하고 임무 중심의 운영 데이터에 적합하다.

실험 결과

연구 질문

• RQ1 온라인 이상 탐지 시스템은 희박하고 변동성이 크며 계층적인 운영 네트워크 데이터에서 이상을 효과적으로 탐지할 수 있는가?
• RQ2 실시간 스트리밍 운영 데이터에 적응시킨 계층적 헤비 허터 탐지 기법은 오프라인 방법에 비해 어떻게 성능을 발휘하는가?
• RQ3 신호가 약한 상황에서(예: 첫 번째 네트워크 수준 이하) Tiresias는 얼마나 세밀한 수준에서 이상을 탐지할 수 있는가?
• RQ4 Tiresias는 기존의 모니터링 또는 기준 방법으로는 포착되지 않은 이전에 알려지지 않은 이상을 탐지할 수 있는가?
• RQ5 실제 ISP 구현 환경에서 탐지 정확도, 계산 효율성, 확장성 간의 상호 상충 관계는 어떠한가?

주요 결과

• ISP 운영 팀이 검증한 기준 집합과 비교할 때 Tiresias는 이상을 탐지하는 데 94% 이상의 정확도를 달성한다.
• 시스템은 대부분의 알려진 이상을 성공적으로 탐지하였으며, 누락된 이상 수가 적고, 진짜 양성 및 진짜 음성 비율이 높았다.
• Tiresias는 여러 개의 이전에 알려지지 않은 이상을 발견하였으며, 특히 VHO, CO, DSLAM 수준에서 발견된 이상들이 기준 방법으로는 포착되지 않았다.
• 신규로 발견된 이상의 대부분(95%)은 VHO 수준 이하에 국한되어 있었으며, 이는 시스템이 미세하고 국소적인 문제를 탐지할 수 있음을 보여준다.
• CO 수준에서 신규 이상 탐지 비율은 29.3%였고, DSLAM 수준에서는 9.4%였으며, 이는 네트워크 엣지 위치에서 강력한 탐지 능력을 가짐을 시사한다.
• 시스템의 적응형 헤비 허터 메커니즘 덕분에 데이터가 희박하거나 변동성이 클 경우에도 정확한 탐지가 가능했으며, 첫 번째 수준 집계에 국한된 방법보다 뛰어난 성능을 보였다.