[논문 리뷰] CT-NOR: Representing and Reasoning About Events in Continuous Time

Aleksandr Simma, Moisés Goldszmidt외 5명|arXiv (Cornell University)|2012. 06. 13.

Bayesian Modeling and Causal Inference참고 문헌 14인용 수 24

한 줄 요약

CT-NOR는 연속 시간에서 사건 간 관계를 표현하고 추론하기 위한 생성적 확률 모델을 제안한다. EM 알고리즘을 사용해 타임스탬프 데이터에 매개변수를 피팅하고, 가설 검정을 통해 종속성 탐지 및 변화점 검출을 수행한다. 마이크로소프트 리서치 캠브리지에서 확보한 실제 네트워크 이벤트 트레이스를 대상으로 평가한 결과, 분산 시스템 내 인과 관계와 행동 변화를 효과적으로 식별하였다.

ABSTRACT

We present a generative model for representing and reasoning about the relationships among events in continuous time. We apply the model to the domain of networked and distributed computing environments where we fit the parameters of the model from timestamp observations, and then use hypothesis testing to discover dependencies between the events and changes in behavior for monitoring and diagnosis. After introducing the model, we present an EM algorithm for fitting the parameters and then present the hypothesis testing approach for both dependence discovery and change-point detection. We validate the approach for both tasks using real data from a trace of network events at Microsoft Research Cambridge. Finally, we formalize the relationship between the proposed model and the noisy-or gate for cases when time can be discretized.

연구 동기 및 목표

• 분산 시스템의 모니터링 및 진단을 위해 연속 시간에서 사건 간 시간적 종속성을 모델링하기 위해.
• 실제 타임스탬프가 부여된 사건 데이터에 모델을 적합하기 위한 매개변수 추정 방법을 개발하기 위해.
• 시스템 로그 내 사건 간 숨겨진 종속성을 탐지하고 행동 변화 지점(Change-point)을 식별할 수 있도록 하기 위해.
• 연속 시간 모델과 이산적 노이즈 없는-OR 게이트 간의 이론적 연결을 정식화하기 위해.
• 마이크로소프트 리서치 캠브리지에서 확보한 실제 네트워크 이벤트 트레이스를 기반으로 모델의 효과성을 검증하기 위해.

제안 방법

• CT-NOR 모델은 이전 사건들에 의한 인과적 영향을 바탕으로 사건 발생 확률을 표현하기 위해 생성적 접근을 사용한다.
• 관측된 타임스탬프에서 모델 매개변수를 추정하기 위해 기대치-최대화(Expectation-Maximization, EM) 알고리즘을 적용한다.
• 가능도 비율 검정을 사용해 사건 쌍 간의 통계적 종속성을 탐지하기 위해 가설 검정을 적용한다.
• 가능도 비율 통계량을 사용해 시간에 따른 사건 행동 변화를 검출하기 위해 변화점 검출을 수행한다.
• 인과 입력을 기반으로 사건 발생까지의 시간 분포를 모델링함으로써 이산 시간 노이즈 없는-OR 게이트를 연속 시간으로 확장한다.
• 시간적 불확실성을 통합하고 사건 인과성 및 시스템 상태 변화에 대한 확률적 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 분산 시스템의 진단을 지원하기 위해 연속 시간에서 사건 간 관계를 어떻게 모델링할 수 있는가?
• RQ2 실제 타임스탬프가 부여된 사건 데이터로부터 모델 매개변수를 효과적으로 추정하는 방법은 무엇인가?
• RQ3 시스템 로그 내 사건 간 숨겨진 종속성을 탐지하기 위해 통계적 가설 검정을 어떻게 활용할 수 있는가?
• RQ4 모델은 시간에 따라 시스템 행동이 변화하는 경우(예: 사건 빈도 또는 인과성의 변화)를 탐지할 수 있는가?
• RQ5 제안된 연속 시간 모델과 이산적 노이즈 없는-OR 게이트 사이의 이론적 관계는 무엇인가?

주요 결과

• CT-NOR 모델은 마이크로소프트 리서치 캠브리지에서 확보한 실제 네트워크 트레이스 데이터에서 의미 있는 사건 종속성을 성공적으로 식별하였다.
• EM 알고리즘이 안정적으로 수렴하였고, 관측된 타임스탬프에서 정확한 매개변수 추정치를 제공하였다.
• 가설 검정은 높은 정밀도로 통계적으로 유의미한 사건 간 종속성을 탐지하여 진단 정확도를 향상시켰다.
• 변화점 검출은 고장 빈도 증가 또는 사건 순서의 변화와 같은 의미 있는 시스템 행동 변화를 식별하였다.
• 모델의 연속 시간 설정은 이산적 노이즈 없는-OR 게이트를 일반화하여 시간적 추론에 대한 체계적인 확장 제공하였다.
• 실제 데이터를 대상으로 한 검증을 통해 모델이 복잡한 분산 시스템의 모니터링 및 진단에 실용적으로 유용함을 입증하였다.