[논문 리뷰] Large-Scale Characterization and Segmentation of Internet Path Delays with Infinite HMMs

Maxime Mouchet, Sandrine Vaton외 3명|arXiv (Cornell University)|2019. 10. 28.

Complex Network Analysis Techniques참고 문헌 38인용 수 11

한 줄 요약

이 논문은 인터넷 경로 지연 트레이스의 자동화되고 확장 가능한 분할 및 특성 분석을 위한 무한한 은닉 마르코프 모델(HDP-HMM)을 제안한다. 비모수 베이지안 추론을 활용하여 모델은 은닉 상태의 수를 데이터에서 동적으로 추론하며, RIPE Atlas 및 CAIDA MANIC 데이터의 RTT 시간 시리즈에서 반복 패턴과 이질성을 인간 수준의 정확도로 식별한다. 이는 배포를 위한 공개 웹 API를 통해 가능하다.

ABSTRACT

Round-Trip Times are one of the most commonly collected performance metrics in computer networks. Measurement platforms such as RIPE Atlas provide researchers and network operators with an unprecedented amount of historical Internet delay measurements. It would be very useful to automate the processing of these measurements (statistical characterization of paths performance, change detection, recognition of recurring patterns, etc.). Humans are pretty good at finding patterns in network measurements but it can be difficult to automate this to enable many time series being processed at the same time. In this article we introduce a new model, the HDP-HMM or infinite hidden Markov model, whose performance in trace segmentation is very close to human cognition. This is obtained at the cost of a greater complexity and the ambition of this article is to make the theory accessible to network monitoring and management researchers. We demonstrate that this model provides very accurate results on a labeled dataset and on RIPE Atlas and CAIDA MANIC data. This method has been implemented in Atlas and we introduce the publicly accessible Web API.

연구 동기 및 목표

• 대규모 인터넷 경로 지연 트레이스의 특성 분석 및 분할을 자동화하여 수동 분석에 대한 의존도를 줄이기.
• 기본 HMM에서 은닉 상태의 최적 수를 결정하는 문제를 비모수 베이지안 접근법을 통해 해결하기.
• 다양한 네트워크 경로에서 RTT 시간 시리즈의 이상 현상과 반복 패턴을 감지하기 위한 확장 가능하고 완전히 자동화된 방법 개발하기.
• 실세계 데이터셋(RIPE Atlas 및 CAIDA MANIC)에서 HDP-HMM 모델을 검증하고 인간 레이블링된 변화점과의 성능을 비교하기.
• 네트워크 모니터링 및 관리 시스템에 통합할 수 있도록 웹 API를 통해 모델을 구현하고 공개하기.

제안 방법

• HDP-HMM은 무한한 잠재 상태 수를 허용하기 위해 계층 딜레트 프로세스 사전을 사용하며, 실제 상태 수는 데이터에서 추론된다.
• 모델은 게티스 샘플링을 사용하여 후행 추론을 수행하여 사전에 상태 수를 지정하지 않고도 자동으로 상태를 탐지한다.
• RTT 시간 시리즈를 각각 다른 지연 분포(Gaussian 등)를 가진 잠재 상태의 시퀀스로 모델링하며, 상태 전이 확률을 통해 시간적 동역학을 포착한다.
• 모델은 RIPE Atlas에서 확보한 10만 건의 일주일 단위 RTT 트레이스에 적용되었으며, 모델의 우도를 시뮬레이션된 데이터와 비교하여 적합도를 검증하였다.
• 실시간 또는 배치 처리를 위한 RTT 측정치를 처리할 수 있도록 HDP-HMM 분할 서비스를 공개하는 웹 API를 구현하였다.
• 레이블이 부여된 변화점 데이터셋을 사용하여 방법을 검증하였으며, 기존의 변화 탐지 방법과 비교하였다.

실험 결과

연구 질문

• RQ1 무한한 HMM 모델이 RTT 시간 시리즈에서 패턴과 이질성을 식별할 때 인간 전문가 수준의 분할 정확도를 달성할 수 있는가?
• RQ2 HDP-HMM 모델이 실세계 인터넷 지연 트레이스에 대해 동일한 모델에서 생성된 시뮬레이션된 데이터와 비교해 얼마나 잘 적합하는가?
• RQ3 사전 지정 없이도 HDP-HMM이 지연 시간 시리즈에서 은닉 상태 수를 자동으로 추론할 수 있는가?
• RQ4 HDP-HMM은 BGP 장애 또는 DNS 서버 피크와 같은 실세계 네트워크 이벤트를 탐지하는 데 얼마나 잘 작동하는가?
• RQ5 HDP-HMM은 RIPE Atlas와 같은 대규모 측정 인fra에서 운영적으로 확장하고 배포할 수 있는가?

주요 결과

• 레이블이 부여된 변화점 데이터셋에서 검증된 결과, HDP-HMM 모델은 인간 전문가 수준의 분할 정확도를 달성하였다.
• 실제 RIPE Atlas 트레이스에서 모델의 우도는 동일한 모델에서 생성된 시뮬레이션된 데이터와 매우 유사하여, 10만 개의 시간 시리즈에서 강력한 통계적 적합도를 확인하였다.
• 모델은 2018년 4월 DE-CIX 프랑크푸르트에서 발생한 두 차례의 주요 BGP 장애를 성공적으로 탐지하였으며, 상태 전이 피크가 관측된 네트워크 장애와 정확히 일치하였다.
• 다수의 AS를 영향받는 DNS 루트 서버 피크를 탐지하여, RTT 데이터에서 인프라 수준의 사건을 탐지할 수 있음을 입증하였다.
• 레이블이 부여된 데이터에서 기존의 변화점 탐지 방법보다 HDP-HMM이 더 뛰어난 성능을 보였으며, 네트워크 관리 작업에 대한 해석 가능하고 설명 가능한 파rameter를 제공하였다.
• 이 방법은 RIPE Atlas에서 생산 환경에 성공적으로 구현되었으며, 공개 웹 API와 함께 커뮤니티 사용을 위한 노트북도 제공되고 있다.